Surveiller les journaux du catalogue universel Dataplex

Vous pouvez afficher, rechercher, filtrer et archiver les journaux de tâches Dataplex Universal Catalog dans Cloud Logging.

Pour comprendre les coûts, consultez la page Tarifs de Google Cloud Observability.

Pour en savoir plus sur la conservation des journaux, consultez Durée de conservation des journaux.

Pour désactiver tous les journaux ou en exclure de Logging, consultez la section Filtres d'exclusion.

Pour acheminer des journaux de Logging vers Cloud Storage, BigQuery ou Pub/Sub, consultez la présentation du routage et du stockage.

Accéder aux journaux de service Dataplex Universal Catalog dans Logging

Dataplex Universal Catalog publie les journaux de service suivants dans Cloud Logging.

Type de journal Nom du journal logName requête Description du journal
Journaux des événements d'analyse des données dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Journaux d'événements pour les jobs d'analyse de données indiquant l'état, les résultats et les statistiques des jobs
Journaux des résultats des règles d'analyse de la qualité des données dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Résultats des règles d'analyse de la qualité des données dans un job de qualité des données
Journaux de découverte dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progression de la découverte et mises à jour des ressources d'une zone
Journaux des jobs de métadonnées dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Journaux concernant les jobs d'importation de métadonnées et les éléments importés dans le fichier d'importation de métadonnées
Journaux de traitement dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Exécutions de jobs résultant de tâches de traitement des données

Remplacez les éléments suivants :

  • PROJECT_ID : ID de votre projet

Pour accéder à Logging, vous pouvez utiliser l'explorateur de journaux dans la consoleGoogle Cloud , les commandes gcloud logging ou l'API Logging.

Interroger les journaux d'événements d'analyse de données

Lorsque vous utilisez Dataplex Universal Catalog pour créer et exécuter une analyse de données, un journal des événements d'analyse de données est généré dans Logging pour le job résultant.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Rechercher des noms de journaux, saisissez dataplex.googleapis.com%2Fdata_scan. Sélectionnez data_scan et cliquez sur Appliquer.

  7. Facultatif : Filtrez les journaux sur un ID ou un emplacement d'analyse de données spécifique en ajoutant les filtres suivants dans la requête de journal :

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journaux d'événements d'analyse de données, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux des résultats des règles d'analyse de la qualité des données

Lorsque vous utilisez Dataplex Universal Catalog pour créer et exécuter une analyse de la qualité des données, un journal des résultats des règles d'analyse de la qualité des données est généré dans Logging pour le job résultant.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Rechercher des noms de journaux, saisissez dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Sélectionnez data_quality_scan_rule_result, puis cliquez sur Appliquer.

  7. Facultatif : Filtrez les journaux sur un ID ou un emplacement d'analyse de données spécifique en ajoutant les filtres suivants dans la requête de journal :

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journaux des résultats de vos règles d'analyse de la qualité des données, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux de découverte

Lorsque vous utilisez Dataplex Universal Catalog pour découvrir des données dans des composants, un journal de découverte est généré dans Logging.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Zone Cloud Dataplex. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Rechercher des noms de journaux, saisissez dataplex.googleapis.com%2Fdiscovery. Sélectionnez discovery, puis cliquez sur Appliquer.

  7. (Facultatif) Filtrez les journaux pour n'afficher que ceux d'un asset spécifique en ajoutant les filtres suivants à la requête de journal :

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire vos entrées de journaux de découverte, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux des tâches de métadonnées

Lorsque vous exécutez une tâche d'importation de métadonnées, des journaux de tâches de métadonnées sont générés dans Logging.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Job de métadonnées Cloud Dataplex.

  5. Facultatif : Pour filtrer les journaux en fonction d'un emplacement ou d'un ID de job de métadonnées spécifique, sélectionnez un emplacement ou un ID de job.

  6. Cliquez sur Appliquer.

  7. Cliquez sur le menu Nom du journal.

  8. Saisissez dataplex.googleapis.com%2Fmetadata_job, puis sélectionnez metadata_job.

  9. Cliquez sur Appliquer.

gcloud

Pour lire les entrées de journal de vos tâches de métadonnées, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Interroger les journaux de processus

Lorsque vous utilisez Dataplex Universal Catalog pour planifier et exécuter des tâches, un journal de processus est généré dans Logging pour le job résultant.

Console

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Dans la vue Explorateur de journaux, recherchez l'onglet Requête.

  3. Cliquez sur le menu Ressource.

  4. Sélectionnez Tâche Cloud Dataplex. Cliquez sur Apply (Appliquer).

  5. Cliquez sur le menu Nom du journal.

  6. Dans le champ Rechercher des noms de journaux, saisissez dataplex.googleapis.com%2Fprocess. Sélectionnez processus, puis cliquez sur Appliquer.

  7. Facultatif : Filtrez les journaux pour une tâche spécifique en ajoutant les filtres suivants dans la requête de journal :

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. Cliquez sur Exécuter la requête.

gcloud

Pour lire vos entrées de journaux de processus, utilisez la commande gcloud logging read avec la requête suivante :

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Étapes suivantes