Esportazione di metadati e annotazioni da un set di dati

Console

1. Nella console Google Cloud , nella sezione Vertex AI, vai alla pagina Set di dati.

   Vai alla pagina Set di dati

2. Nell'elenco a discesa Regione, seleziona la posizione in cui è archiviato Dataset.

3. Trova la riga di Dataset. Puoi esportare metadati e annotazioni per tutti i set di annotazioni o per un set di annotazioni specifico:

   • Se vuoi esportare i metadati e le annotazioni per tutti i Datasetset di annotazioni, fai clic su Mostra altro more_vert e poi su Esporta set di dati.

     In questo modo, Vertex AI crea un insieme di file JSON Lines per ogni set di annotazioni.

   • Se vuoi esportare metadati e annotazioni per un set di annotazioni specifico:

     1. Fai clic su Espandi nodo arrow_drop_down per mostrare le righe per ciascuno dei set di annotazioni di Dataset.

     2. Nella riga del set di annotazioni che vuoi esportare, fai clic su Visualizza altro more_vert e poi su Esporta set di annotazioni.

     In questo modo, Vertex AI crea un insieme di file JSON Lines per il set di annotazioni che hai specificato.

4. Nella finestra di dialogo Esporta dati, inserisci una directory Cloud Storage in cui vuoi che Vertex AI salvi i file JSON Lines esportati. Fai clic su Esporta.

REST

Recuperare l'ID di Dataset

Per esportare un Dataset, devi conoscere il suo ID numerico.Dataset Se conosci il nome visualizzato diDataset, ma non l'ID, espandi la sezione seguente per scoprire come ottenere l'ID utilizzando l'API:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

In alternativa, puoi ottenere l'ID di Dataset Google Cloud dalla console: Vai alla pagina Set di dati di Vertex AI e trova il numero nella colonna ID.

Vai alla pagina Set di dati

Esportare uno o più set di annotazioni

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

• LOCATION: la posizione in cui è archiviato il Dataset. Ad esempio: us-central1.

• PROJECT_ID: il tuo ID progetto

• DATASET_ID: l'ID numerico di Dataset.

• EXPORT_DIRECTORY: URI Cloud Storage (che inizia con gs://) di una directory in cui vuoi che Vertex AI salvi i file JSON Lines esportati. Deve trovarsi in un bucket Cloud Storage a cui hai accesso, ma la directory non deve ancora esistere.

• FILTER: una stringa di filtro che determina quali set di annotazioni vengono esportati.

  • Se vuoi esportare metadati e annotazioni per tutti i Dataset's annotation sets, sostituisci FILTER con una stringa vuota (o ometti completamente il campo annotationsFilter dal corpo della richiesta). In questo modo, Vertex AI crea un insieme di file JSON Lines per ogni set di annotazioni.

  • Se vuoi esportare metadati e annotazioni per un set di annotazioni specifico, sostituisci FILTER con quanto segue:

    labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID
    

    In questo modo, Vertex AI crea un insieme di file JSON Lines per il set di annotazioni con l'ID numerico ANNOTATION_SET_ID.

    Per trovare l'ID numerico del set di annotazioni che vuoi specificare, visualizza il set di annotazioni nella console Google Cloud e cerca il valore che segue annotationSetId nell'URL.

Metodo HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

Corpo JSON della richiesta:

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

Per inviare la richiesta, scegli una di queste opzioni:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

Alcune richieste avviano operazioni a lunga esecuzione che richiedono tempo per essere completate. Queste richieste restituiscono un nome dell'operazione, che puoi utilizzare per visualizzare lo stato o annullare l'operazione. Vertex AI fornisce metodi helper per effettuare chiamate alle operazioni di lunga durata. Per ulteriori informazioni, consulta Utilizzo di operazioni a lunga esecuzione.