Afficher les journaux de pipeline avancés dans Cloud Logging

Cette page explique comment activer Cloud Logging pour vos clusters Dataproc Cloud Data Fusion et accéder aux journaux de pipeline avancés.

Activer Dataproc Cloud Logging

Pour afficher les problèmes de pipeline et de cluster dans Cloud Logging, activez les journaux avancés dans les instances Cloud Data Fusion nouvelles ou existantes. Pour activer les journaux avancés dans une instance existante, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Instances de Cloud Data Fusion.

    Accéder à la page "Instances"

  2. Cliquez sur le nom de l'instance.

  3. Dans la section Surveillance et journalisation avancées, pour Dataproc Cloud Logging, cliquez sur Modifier.

  4. Dans la fenêtre Cloud Logging (Journalisation dans le cloud), cochez la case Enable Cloud Logging (Activer Cloud Logging).

  5. Cliquez sur Enregistrer.

Afficher les journaux

Chaque exécution de pipeline Cloud Data Fusion se voit attribuer un RunID unique. Après avoir déployé et exécuté votre pipeline, recherchez son RunID. Ensuite, dans Logging, utilisez le RunID pour afficher les journaux de votre pipeline.

Obtenir l'ID d'exécution du pipeline

  1. Accédez à votre instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Cliquez sur Liste.
  3. Cliquez sur le pipeline pour lequel vous souhaitez obtenir l'ID d'exécution.
  4. Cliquez sur Résumé.
  5. Dans la section Historique d'exécution, cliquez sur Table.
  6. Pour copier l'ID d'exécution, effectuez un clic droit sur RunID (ID d'exécution), puis cliquez sur Copy (Copier).

Afficher les journaux dans l'explorateur de journaux

  1. Dans la console Google Cloud, accédez à la page Cloud Logging > Explorateur de journaux:

    Accéder à l'explorateur de journaux

  2. Dans le menu déroulant Toutes les ressources, sélectionnez Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Facultatif: Filtrer les journaux

Utilisez les menus de filtre pour filtrer vos journaux. Vous pouvez filtrer selon plusieurs niveaux de journalisation ou en fonction de composants tels que datafusion-pipeline-logs.

Facultatif: Télécharger les journaux

Cliquez sur Télécharger les journaux.

Pour en savoir plus, consultez la section Télécharger les entrées de journal.

Étape suivante