Importa i metadati utilizzando una pipeline personalizzata

Questo documento descrive come importare i metadati da un sistema di terze parti in Dataplex Universal Catalog utilizzando i metodi dell'API di importazione dei metadati e la tua pipeline. I metadati di Dataplex Universal Catalog sono costituiti da voci e dai relativi aspetti.

Se invece vuoi utilizzare una pipeline di orchestrazione gestita da Google Cloud per estrarre e importare i metadati, ti consigliamo di utilizzare una pipeline di connettività gestita. Con una pipeline di connettività gestita, fornisci il tuo connettore che estrae i metadati e genera l'output in un formato che può essere utilizzato come input dai metodi dell'API di importazione dei metadati (il file di importazione dei metadati). Quindi, utilizzi Workflows per orchestrare le attività della pipeline.

Puoi eseguire i seguenti tipi di job di importazione dei metadati:

  • Sincronizzazione completa delle voci con importazione incrementale dei relativi aspetti. Supportato per le voci personalizzate.
  • Importazione incrementale solo degli aspetti. Supportato per gli aspetti appartenenti a voci personalizzate e voci di sistema. Per le voci personalizzate, puoi modificare sia gli aspetti facoltativi che quelli obbligatori. Per le voci di sistema, puoi modificare gli aspetti facoltativi.

Passaggi di alto livello

Per importare i metadati utilizzando l'API di importazione dei metadati, segui questi passaggi di alto livello:

  1. Determina l'ambito del job.

    Inoltre, scopri in che modo Dataplex Universal Catalog applica la logica di confronto e la modalità di sincronizzazione per voci e aspetti.

  2. Crea uno o più file di importazione dei metadati che definiscono i dati da importare.

  3. Salva i file di importazione dei metadati in un bucket Cloud Storage.

  4. Esegui un job di importazione dei metadati.

I passaggi descritti in questa pagina presuppongono che tu abbia familiarità con i concetti di metadati di Dataplex Universal Catalog, inclusi gruppi di voci, tipi di voci e tipi di aspetto. Per saperne di più, consulta Informazioni sulla gestione del catalogo dati in Dataplex Universal Catalog.

Prima di iniziare

Prima di importare i metadati, completa le attività descritte in questa sezione.

Ruoli obbligatori

Per assicurarti che l'account di servizio Dataplex Universal Catalog disponga delle autorizzazioni necessarie per accedere al bucket Cloud Storage, chiedi all'amministratore di concedere all'account di servizio Dataplex Universal Catalog il ruolo IAM Visualizzatore oggetti Storage (roles/storage.objectViewer) e l'autorizzazione storage.buckets.get sul bucket.

Per ottenere le autorizzazioni necessarie per gestire i job di importazione dei metadati, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Modifica le voci e i relativi aspetti in un job di metadati di sincronizzazione completa delle voci:
    • Dataplex Entry Type User (roles/dataplex.entryTypeUser) sul tipo di voce o sul progetto in cui è definito il tipo di voce
    • Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) sul tipo di aspetto o sul progetto in cui è definito il tipo di aspetto
  • Modifica gli aspetti obbligatori in un job di metadati solo per gli aspetti:
    • Dataplex Entry Type User (roles/dataplex.entryTypeUser) sul tipo di voce o sul progetto in cui è definito il tipo di voce
    • Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) sul tipo di aspetto o sul progetto in cui è definito il tipo di aspetto
  • Modifica gli aspetti facoltativi in un job di metadati solo per gli aspetti: Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) sul tipo di aspetto o sul progetto in cui è definito il tipo di aspetto. Tieni presente che, quando modifichi gli aspetti facoltativi in un job di metadati solo per gli aspetti, non hai bisogno delle autorizzazioni per il tipo di voce associato.
  • Crea job di importazione dei metadati:
  • Visualizza i job metadati: Dataplex Metadata Job Viewer (roles/dataplex.metadataJobViewer) sul progetto
  • Crea, visualizza e annulla i job metadati: Dataplex Metadata Job Owner (roles/dataplex.metadataJobOwner) sul progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea Google Cloud risorse

Prepara le seguenti Google Cloud risorse:

  1. Crea un gruppo di voci per le voci che vuoi importare.
  2. Crea tipi di aspetto per gli aspetti che vuoi importare.
  3. Crea tipi di voci per le voci che vuoi importare.
  4. Se esegui un job di metadati solo per gli aspetti, crea voci per gli aspetti che vuoi importare.
  5. Crea un bucket Cloud Storage per archiviare i file di importazione dei metadati.

Componenti di un job di importazione dei metadati

Quando importi i metadati, considera i seguenti componenti di un job di metadati:

  • Ambito del job: il gruppo di voci, i tipi di voci e i tipi di aspetto da includere nel job.
  • Modalità di sincronizzazione: il modo in cui vengono aggiornate le voci e gli aspetti del job.
  • File di importazione dei metadati: un file che definisce i valori da impostare per le voci e gli aspetti nel job. Puoi fornire più file di importazione dei metadati nello stesso job di metadati. Salvi i file in Cloud Storage.
  • Logica di confronto: come Dataplex Universal Catalog determina quali voci e aspetti modificare.

Ambito del job

L'ambito del job definisce il gruppo di voci, i tipi di voci e i tipi di aspetto che vuoi includere in un job di importazione dei metadati. Quando importi i metadati, modifichi le voci e gli aspetti che appartengono alle risorse nell'ambito del job.

Per definire l'ambito del job, segui queste linee guida:

  • Gruppo di voci: specifica un singolo gruppo di voci da includere nel job. Il job modifica solo le voci e gli aspetti appartenenti a questo gruppo di voci. Il gruppo di voci e il job devono trovarsi nella stessa regione.

  • Tipi di voci: specifica uno o più tipi di voci da includere nel job. Il job modifica solo le voci e gli aspetti appartenenti a questi tipi di voci. La località di un tipo di voce deve corrispondere a quella del job oppure il tipo di voce deve essere globale.

  • Tipi di aspetti: specifica uno o più tipi di aspetti da includere nel job. Il job modifica solo gli aspetti che appartengono a questi tipi di aspetto. La località di un tipo di aspetto deve corrispondere a quella del lavoro oppure il tipo di aspetto deve essere globale.

L'ambito del job deve includere tutti i tipi di voci e di aspetti specificati nel file di importazione dei metadati.

Specifichi l'ambito del job quando crei un job di metadati.

Modalità di sincronizzazione

La modalità di sincronizzazione specifica come vengono aggiornate le voci e gli aspetti in un job di importazione dei metadati. Fornisci una modalità di sincronizzazione sia per le voci che per gli aspetti. A seconda delle risorse che vuoi importare, sono supportate le seguenti combinazioni di modalità di sincronizzazione.

Obiettivo Modalità di sincronizzazione delle voci Modalità di sincronizzazione delle proporzioni Risultati
Importare le voci e i relativi aspetti FULL INCREMENTAL

Tutte le voci nell'ambito del job vengono modificate.

Se una voce esiste in Dataplex Universal Catalog, ma non è inclusa nel file di importazione dei metadati, la voce viene eliminata quando esegui il job dei metadati.

Un aspetto viene modificato solo se il file di importazione dei metadati include un riferimento all'aspetto nel campo updateMask e nel campo aspectKeys. Vedi Struttura di un elemento di importazione.

Importa solo aspetti NONE INCREMENTAL

Gli aspetti vengono modificati se fanno parte dell'ambito del job e se il file di importazione dei metadati include un riferimento agli aspetti nel campo aspectKeys. Vedi Struttura di un elemento di importazione.

Gli altri metadati appartenenti alle voci nell'ambito del job non vengono modificati.

Specifichi la modalità di sincronizzazione quando crei un job di metadati.

File di importazione dei metadati

Il file di importazione dei metadati è una raccolta delle voci e degli aspetti che vuoi modificare. Definisce i valori da impostare per tutti i campi appartenenti a queste voci e questi aspetti. Prepara il file prima di eseguire un job di importazione dei metadati.

Si applicano le seguenti linee guida generali:

  • Puoi fornire più file di importazione dei metadati nello stesso job di metadati.
  • Quando esegui un job di metadati di sincronizzazione completa delle voci, le voci che fornisci nel file sostituiscono completamente tutte le voci esistenti per qualsiasi risorsa inclusa nell'ambito del job. Ciò significa che devi includere i valori per tutte le voci di un job, non solo i valori che vuoi aggiungere o aggiornare. Per ottenere un elenco delle voci correnti nel tuo progetto da utilizzare come punto di partenza, utilizza il metodo API entries.list.

  • Devi fornire un file di importazione dei metadati nell'ambito di un job di metadati. Se vuoi eliminare tutti i dati esistenti per le voci che rientrano nell'ambito del job, fornisci un file di importazione dei metadati vuoto.

  • Tutte le voci e gli aspetti che includi nel file devono appartenere ai gruppi di voci, ai tipi di voci e ai tipi di aspetti che definisci nell'ambito del job.

Utilizza le linee guida dettagliate nelle sezioni seguenti per creare un file di importazione dei metadati.

Struttura del file

Ogni riga del file di importazione dei metadati contiene un oggetto JSON che corrisponde a un elemento di importazione. Un elemento di importazione è un oggetto che descrive i valori da modificare per una voce e i relativi aspetti allegati.

Puoi fornire più elementi di importazione in un unico file di importazione dei metadati. Tuttavia, non fornire lo stesso elemento di importazione più di una volta in un job di metadati. Utilizza un carattere di nuova riga (0x0a) per separare ogni elemento di importazione.

Un file di importazione dei metadati con un carattere di nuova riga tra ogni elemento di importazione ha l'aspetto dell'esempio seguente:

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

Struttura di un elemento di importazione

Ogni elemento di importazione nel file di importazione dei metadati può includere i seguenti campi (vedi ImportItem). L'esempio seguente è formattato con interruzioni di riga per facilitare la lettura, ma quando salvi il file, includi un carattere di nuova riga solo dopo ogni elemento di importazione. Non includere interruzioni di riga tra i campi di un singolo elemento di importazione.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

Sostituisci quanto segue:

  • entry: informazioni su una voce e sugli aspetti allegati. In un job di importazione dei metadati solo per gli aspetti, Dataplex Universal Catalog ignora tutti i campi facoltativi per una voce, ad eccezione delle mappe degli aspetti.

    • ENTRY_NAME: il nome della risorsa relativa della voce, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
    • ENTRY_TYPE: il nome della risorsa relativa del tipo di voce utilizzato per creare questa voce, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID.
    • entrySource: informazioni del sistema di origine sulla risorsa di dati rappresentata dalla voce:
      • RESOURCE: il nome della risorsa nel sistema di origine.
      • SYSTEM: il nome del sistema di origine.
      • PLATFORM: la piattaforma contenente il sistema di origine.
      • DISPLAY_NAME: un nome visualizzato facile da ricordare.
      • DESCRIPTION: una descrizione della voce.
      • ENTRY_CREATE_TIMESTAMP: l'ora in cui è stata creata la voce nel sistema di origine.
      • ENTRY_UPDATE_TIMESTAMP: l'ora in cui la voce è stata aggiornata nel sistema di origine.
    • aspects: gli aspetti associati alla voce. L'oggetto aspect e i relativi dati sono chiamati mappa degli aspetti.

      • ASPECT: un aspetto allegato alla voce. A seconda di come è collegato l'aspetto alla voce, utilizza uno dei seguenti formati:

        • Se l'aspetto è collegato direttamente alla voce, fornisci il nome risorsa relativo del tipo di aspetto nel formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.
        • Se l'aspetto è collegato al percorso della voce, fornisci il percorso del tipo di aspetto, nel formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH.
      • KEY e VALUE: il contenuto dell'aspetto, in base al modello di metadati del tipo di aspetto. I contenuti devono essere codificati come UTF-8. La dimensione massima del campo è 120 KB. Il dizionario data è obbligatorio, anche se è vuoto.

      • ASPECT_CREATE_TIMESTAMP: l'ora in cui è stato creato l'aspetto nel sistema di origine.

      • ASPECT_UPDATE_TIMESTAMP: l'ora in cui l'aspetto è stato aggiornato nel sistema di origine.

    • PARENT_ENTRY: il nome della risorsa della voce principale.

    • FULLY_QUALIFIED_NAME: un nome per la voce a cui può fare riferimento un sistema esterno. Consulta la sezione Nomi completi.

  • UPDATE_MASK_FIELDS: i campi da aggiornare, nei percorsi relativi alla risorsa Entry. Separa ogni campo con una virgola.

    In un job di sincronizzazione completa delle voci, Dataplex Universal Catalog include i percorsi di tutti i campi di una voce che possono essere modificati, inclusi gli aspetti. Il campo updateMask viene ignorato quando viene creata o ricreata una voce.

    In un job di metadati solo per gli aspetti, imposta questo valore su aspects.

  • ASPECT_KEY: gli aspetti da modificare. Supporta le seguenti sintassi:

    • ASPECT_TYPE_REFERENCE: corrisponde al tipo di aspetto per gli aspetti collegati direttamente alla voce.
    • ASPECT_TYPE_REFERENCE@PATH: corrisponde al tipo di aspetto e al percorso specificato.
    • ASPECT_TYPE_REFERENCE@*: corrisponde al tipo di aspetto per tutti i percorsi.
    • *@PATH: corrisponde a tutti i tipi di aspetti nel percorso specificato.

    Sostituisci ASPECT_TYPE_REFERENCE con un riferimento al tipo di aspetto, nel formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.

    In un job di sincronizzazione completa delle voci, se lasci vuoto questo campo, viene considerato come se specificassi esattamente gli aspetti presenti nella voce specificata. Dataplex Universal Catalog aggiunge implicitamente le chiavi per tutti gli aspetti richiesti di una voce.

Requisiti dei file

Il file di importazione dei metadati deve soddisfare i seguenti requisiti:

  • Il file deve essere formattato come file JSON Lines, ovvero un file JSON delimitato da nuova riga. Utilizza un carattere di nuova riga (0x0a) per separare ogni elemento di importazione.
  • Il file deve utilizzare la codifica dei caratteri UTF-8.
  • Le estensioni dei file supportate sono .jsonl e .json.
  • Le dimensioni di ogni file di importazione dei metadati devono essere inferiori a 1 GiB. La dimensione totale massima per tutti i dati nel job di metadati è 3 GB. Sono inclusi tutti i file e i metadati associati al job.
  • I tipi di voce e i tipi di aspetto specificati nel file devono far parte dell'ambito del job di metadati.
  • Il file deve essere caricato in un bucket Cloud Storage. Non salvare il file in una cartella denominata CLOUD_STORAGE_URI/deletions/.

Logica di confronto

Dataplex Universal Catalog determina quali voci e aspetti modificare confrontando i valori e i timestamp forniti nel file di importazione dei metadati con i valori e i timestamp esistenti nel progetto.

A livello generale, il Catalogo universale Dataplex aggiorna i valori nel tuo progetto quando almeno una modifica proposta nel file di importazione dei metadati cambierà lo stato del tuo progetto quando viene eseguito il job, senza introdurre dati obsoleti. La modifica proposta deve essere indicata nel campo della maschera di aggiornamento o nel campo delle chiavi dell'aspetto nel file di importazione dei metadati.

La logica di confronto varia a seconda del tipo di job di importazione dei metadati eseguito.

Job di sincronizzazione completa delle voci

In un job di sincronizzazione completa dei metadati delle voci, per ogni voce che fa parte dell'ambito del job, Dataplex Universal Catalog esegue una delle seguenti operazioni:

  • Crea una voce e gli aspetti allegati. Se il file di importazione dei metadati include una voce che non esiste nel tuo progetto, Dataplex Universal Catalog crea la voce e gli aspetti allegati.
  • Elimina una voce e gli aspetti collegati. Se una voce esiste nel tuo progetto, ma il file di importazione dei metadati non la include, Dataplex Universal Catalog elimina la voce e gli aspetti allegati dal tuo progetto.
  • Aggiorna una voce e gli aspetti allegati. Se una voce esiste sia nel file di importazione dei metadati sia nel tuo progetto, Dataplex Universal Catalog valuta i timestamp di origine della voce e i timestamp di origine dell'aspetto associati alla voce per determinare quali valori modificare. Poi, Dataplex Universal Catalog esegue una o più delle seguenti operazioni:

    • Ricrea la voce. Se il timestamp di creazione dell'origine della voce nel file di importazione dei metadati è più recente del timestamp corrispondente nel tuo progetto, Dataplex Universal Catalog ricrea la voce nel tuo progetto.
    • Aggiorna la voce. Se il timestamp dell'aggiornamento dell'origine della voce nel file di importazione dei metadati è più recente del timestamp corrispondente nel tuo progetto, Dataplex Universal Catalog aggiorna la voce nel tuo progetto.
    • Crea un aspetto. Se un aspetto non esiste nel tuo progetto ed è incluso in una mappa degli aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi degli aspetti nel file di importazione dei metadati, Dataplex Universal Catalog crea l'aspetto.
    • Elimina un aspetto. Se un aspetto esiste nel tuo progetto ed è incluso nel campo della maschera di aggiornamento e nel campo delle chiavi dell'aspetto nel file di importazione dei metadati, ma non è incluso in una mappa degli aspetti, Dataplex Universal Catalog elimina l'aspetto.
    • Aggiorna un aspetto. Se un aspetto esiste nel tuo progetto ed è incluso in una mappa degli aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi degli aspetti del file di importazione dei metadati e il timestamp di aggiornamento dell'origine dell'aspetto nel file di importazione dei metadati è più recente del timestamp corrispondente nel tuo progetto, Dataplex Universal Catalog aggiorna l'aspetto.

      Se nel file di importazione dei metadati non viene fornito un timestamp di aggiornamento dell'origine dell'aspetto, ma la voce corrispondente è contrassegnata per un aggiornamento, Dataplex Universal Catalog aggiorna anche l'aspetto.

      Tuttavia, se almeno un aspetto nel file di importazione dei metadati ha un timestamp precedente al timestamp corrispondente nel tuo progetto, allora Dataplex Universal Catalog non esegue aggiornamenti per la voce allegata.

Job solo per l'aspetto

In un job di metadati solo per gli aspetti, per ogni aspetto che fa parte dell'ambito del job, Dataplex Universal Catalog esegue una delle seguenti operazioni:

  • Crea un aspetto. Se un aspetto non esiste nel tuo progetto ed è incluso in una mappa degli aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi degli aspetti nel file di importazione dei metadati, Dataplex Universal Catalog crea l'aspetto.
  • Elimina un aspetto. Per gli aspetti facoltativi, se l'aspetto esiste nel tuo progetto ed è incluso nel campo della maschera di aggiornamento e nel campo delle chiavi dell'aspetto nel file di importazione dei metadati, ma non è incluso in una mappa degli aspetti, Dataplex Universal Catalog lo elimina.

    Gli aspetti obbligatori non possono essere eliminati.

  • Aggiorna un aspetto. Se un aspetto esiste nel tuo progetto ed è incluso in una mappa degli aspetti, nel campo della maschera di aggiornamento e nel campo delle chiavi degli aspetti del file di importazione dei metadati e il timestamp di aggiornamento dell'origine dell'aspetto nel file di importazione dei metadati è più recente del timestamp corrispondente nel tuo progetto, Dataplex Universal Catalog aggiorna l'aspetto.

    Se nel file di importazione dei metadati non viene fornito un timestamp di aggiornamento dell'origine dell'aspetto, Dataplex Universal Catalog aggiorna anche l'aspetto.

    Dataplex Universal Catalog aggiorna gli aspetti in base al timestamp di aggiornamento dell'origine dell'aspetto, indipendentemente dal timestamp di aggiornamento dell'origine della voce corrispondente.

Crea un file di importazione dei metadati

Prima di importare i metadati, crea un file di importazione dei metadati per il job. Segui questi passaggi:

  1. Prepara un file di importazione dei metadati seguendo le linee guida descritte in precedenza in questo documento.
  2. Carica il file in un bucket Cloud Storage.

Puoi fornire più file di importazione dei metadati nello stesso job di metadati. Per fornire più file, salvali nello stesso bucket Cloud Storage. Quando esegui il job, specifichi un bucket, non un file specifico. Dataplex Universal Catalog importa i metadati da tutti i file salvati nel bucket, inclusi quelli nelle sottocartelle.

Esegui un job di importazione dei metadati

Dopo aver creato un file di importazione dei metadati, esegui un job di importazione dei metadati utilizzando l'API.

REST

Per importare i metadati, utilizza il metodo metadataJobs.create.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

  • PROJECT_NUMBER: il tuo numero di progetto Google Cloud o ID progetto.
  • LOCATION_ID: la posizione Google Cloud , ad esempio us-central1.
  • METADATA_JOB_ID: facoltativo. L'ID job dei metadati.
  • CLOUD_STORAGE_URI: l'URI del bucket o della cartella Cloud Storage che contiene i file di importazione dei metadati. Per ulteriori informazioni sui requisiti dei file, consulta File di importazione dei metadati.

  • ENTRY_GROUP: il nome della risorsa relativa del gruppo di voci che rientra nell'ambito del job, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID. Fornisci un solo gruppo di voci. Per saperne di più, vedi Ambito di lavoro.
  • ENTRY_TYPE: il nome della risorsa relativa di un tipo di voce che rientra nell'ambito del job, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID. Per saperne di più, vedi Ambito di lavoro.

  • ASPECT_TYPE: il nome della risorsa relativa di un tipo di aspetto incluso nell'ambito del job, nel formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID. Facoltativo quando crei un job di sincronizzazione delle voci complete, obbligatorio quando crei un job solo per gli aspetti. Per saperne di più, vedi Ambito di lavoro.
  • ENTRY_SYNC_MODE: la modalità di sincronizzazione delle voci, ad esempio FULL o NONE. Per maggiori informazioni, vedi Modalità di sincronizzazione.
  • LOG_LEVEL: il livello dei log da acquisire, ad esempio INFO o DEBUG. Per maggiori informazioni, vedi Visualizzare i log dei job e risolvere i problemi.

Metodo HTTP e URL:

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

Corpo JSON della richiesta:

{
  "type": IMPORT,
  "import_spec": {
    "source_storage_uri": "gs://CLOUD_STORAGE_URI/",
    "scope": {
      "entryGroups": [
        "ENTRY_GROUP"
      ],
      "entry_types": [
        "ENTRY_TYPE"
      ],
      "aspect_types": [
        "ASPECT_TYPE"
      ]
    },
    "entry_sync_mode": ENTRY_SYNC_MODE,
    "aspect_sync_mode": INCREMENTAL,
    "log_level": LOG_LEVEL
  }
}

Per inviare la richiesta, espandi una di queste opzioni:

La risposta identifica un'operazione a lunga esecuzione.

Visualizzare i dettagli di un job di metadati

Per ottenere informazioni su un job di metadati, ad esempio lo stato del job e il numero di voci modificate, segui questi passaggi. Per saperne di più su come risolvere i problemi relativi a un job non riuscito, consulta la sezione Visualizzare i log dei job e risolvere i problemi di questo documento.

REST

Per ottenere informazioni su un job di metadati, utilizza il metodo metadataJobs.get.

Recuperare un elenco di job di metadati

Puoi ottenere un elenco dei job di metadati più recenti. I job meno recenti che hanno raggiunto uno stato terminale vengono eliminati periodicamente dal sistema.

REST

Per ottenere un elenco dei job di metadati più recenti, utilizza il metodo metadataJobs.list.

Annullamento di un job di metadati

Puoi annullare un job di metadati che non vuoi eseguire.

REST

Per annullare un job di metadati, utilizza il metodo metadataJobs.cancel.

Visualizzare i log dei job e risolvere i problemi

Utilizza Cloud Logging per visualizzare i log di un job di metadati. Per saperne di più, vedi Monitorare i log di Dataplex Universal Catalog.

Configura il livello di log quando crei un job di metadati. Sono disponibili i seguenti livelli di log:

  • INFO: fornisce log a livello di job complessivo. Include log aggregati sugli elementi di importazione, ma non specifica quale elemento di importazione presenta un errore.
  • DEBUG: fornisce log dettagliati per ogni elemento di importazione. Utilizza la registrazione a livello di debug per risolvere i problemi relativi a elementi di importazione specifici. Ad esempio, utilizza la registrazione a livello di debug per identificare le risorse mancanti nell'ambito del job, le voci o gli aspetti che non sono conformi al tipo di voce o di aspetto associato o altre configurazioni errate con il file di importazione dei metadati.

Errori di convalida

Dataplex Universal Catalog convalida i file di importazione dei metadati rispetto ai metadati attuali del tuo progetto. Se si verifica un problema di convalida, lo stato del job potrebbe restituire uno dei seguenti stati:

  • FAILED: si verifica quando il file di importazione dei metadati contiene un errore. Dataplex Universal Catalog non importa alcun metadato e il job non va a buon fine. Esempi di errori nel file di importazione dei metadati includono quanto segue:
    • Un elemento nel file non può essere analizzato in un elemento di importazione valido
    • Una voce o un aspetto nel file appartiene a un gruppo di voci, a un tipo di voce o a un tipo di aspetto che non fa parte dell'ambito del lavoro
    • Lo stesso nome di voce è specificato più di una volta nel job
    • Un tipo di aspetto specificato in una mappa degli aspetti o nelle chiavi degli aspetti non utilizza il formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH
    • Un aspetto obbligatorio è contrassegnato per l'eliminazione
  • SUCCEEDED_WITH_ERRORS: si verifica quando il file di importazione dei metadati può essere analizzato correttamente, ma l'importazione di un elemento nel file causerebbe uno stato incoerente per una voce nel progetto. Dataplex Universal Catalog ignora queste voci, ma importa il resto dei metadati dal file.

Utilizza i log dei job per risolvere l'errore.

Passaggi successivi