Monitorare i log di Dataplex Universal Catalog

I log dei job di Dataplex Universal Catalog possono essere visualizzati, cercati, filtrati e archiviati in Cloud Logging.

Per comprendere i costi, consulta la pagina Prezzi di Google Cloud Observability.

Per saperne di più sulla conservazione dei log, vedi Periodi di conservazione dei log.

Per disattivare tutti i log o escluderli da Logging, consulta Filtri di esclusione.

Per indirizzare i log da Logging a Cloud Storage, BigQuery o Pub/Sub, consulta la Panoramica di routing e archiviazione.

Accedere ai log di servizio di Dataplex Universal Catalog in Logging

Dataplex Universal Catalog pubblica i seguenti log di servizio in Cloud Logging.

Tipo di log Nome log logName query Descrizione log
Log degli eventi di scansione dei dati dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Log eventi per i job di scansione dei dati che indicano lo stato, i risultati e le statistiche del job
Log dei risultati delle regole di scansione della qualità dei dati dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Risultati delle regole di scansione della qualità dei dati in un job di qualità dei dati
Log di rilevamento dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Avanzamento e aggiornamenti del rilevamento sugli asset in una zona
Log dei job di metadati dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Log sui job di importazione dei metadati e sugli elementi di importazione nel file di importazione dei metadati
Log di processo dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Esecuzioni di job risultanti da attività di trattamento dati

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo progetto

Per accedere a Logging, puoi utilizzare Esplora log nella consoleGoogle Cloud , i comandigcloud logging o l'API Logging.

Log degli eventi di scansione dei dati delle query

Quando utilizzi Dataplex Universal Catalog per creare ed eseguire una scansione dei dati, viene prodotto un log eventi della scansione dei dati in Logging per il job risultante.

Console

  1. Nella console Google Cloud , vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Cloud Dataplex DataScan. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Cerca nomi log, inserisci dataplex.googleapis.com%2Fdata_scan. Seleziona data_scan e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un ID o a una posizione di scansione dei dati specifici aggiungendo i seguenti filtri nella query di log:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log degli eventi di scansione dei dati, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Eseguire query sui log dei risultati delle regole di scansione della qualità dei dati

Quando utilizzi Dataplex Universal Catalog per creare ed eseguire un'analisi della qualità dei dati, viene prodotto un log dei risultati delle regole di analisi della qualità dei dati in Logging per il job risultante.

Console

  1. Nella console Google Cloud , vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Cloud Dataplex DataScan. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Cerca nomi log, inserisci dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Seleziona data_quality_scan_rule_result e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un ID o a una posizione di scansione dei dati specifici aggiungendo i seguenti filtri nella query di log:

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log dei risultati della regola di analisi della qualità dei dati, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Log di rilevamento delle query

Quando utilizzi Dataplex Universal Catalog per scoprire i dati negli asset, viene generato un log di rilevamento in Logging.

Console

  1. Nella console Google Cloud , vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Zona Cloud Dataplex. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Cerca nomi log, inserisci dataplex.googleapis.com%2Fdiscovery. Seleziona discovery e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un asset specifico aggiungendo i seguenti filtri nella query di log:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log di rilevamento, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Log dei job di query dei metadati

Quando esegui un job di importazione dei metadati, i log dei job di metadati vengono generati in Logging.

Console

  1. Nella console Google Cloud , vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Job metadati Cloud Dataplex.

  5. (Facoltativo) Per filtrare i log in base a una località o a un ID job di metadati specifico, seleziona una località o un ID job.

  6. Fai clic su Applica.

  7. Fai clic sul menu Nome log.

  8. Digita dataplex.googleapis.com%2Fmetadata_job e poi seleziona metadata_job.

  9. Fai clic su Applica.

gcloud

Per leggere le voci di log del job dei metadati, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Esegui query sui log di processo

Quando utilizzi Dataplex Universal Catalog per pianificare ed eseguire attività, viene prodotto un log di processo in Logging per il job risultante.

Console

  1. Nella console Google Cloud , vai alla pagina Esplora log.

    Vai a Esplora log

  2. Nella visualizzazione Esplora log, individua la scheda Query.

  3. Fai clic sul menu Risorsa.

  4. Seleziona Attività Cloud Dataplex. Fai clic su Applica.

  5. Fai clic sul menu Nome log.

  6. Nel campo Cerca nomi log, inserisci dataplex.googleapis.com%2Fprocess. Seleziona process e fai clic su Applica.

  7. (Facoltativo) Filtra i log in base a un'attività specifica aggiungendo i seguenti filtri nella query di log:

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Fai clic su Esegui query.

gcloud

Per leggere le voci di log del processo, utilizza il comando gcloud logging read con la seguente query:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Per elencare le voci di log, utilizza il metodo entries.list.

Passaggi successivi