Erweiterte Pipeline-Logs in Cloud Logging ansehen

Auf dieser Seite wird beschrieben, wie Sie Cloud Logging für Ihre Cloud Data Fusion-Dataproc-Cluster aktivieren und auf erweiterte Pipeline-Logs zugreifen.

Dataproc Cloud Logging aktivieren

Wenn Sie Pipeline- und Clusterprobleme in Cloud Logging sehen möchten, aktivieren Sie erweiterte Protokolle in neuen oder vorhandenen Cloud Data Fusion-Instanzen. So aktivieren Sie erweiterte Protokolle in einer vorhandenen Instanz:

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Data Fusion-Instanzen auf.

    Zur Seite „VM-Instanzen“

  2. Klicken Sie auf den Instanznamen.

  3. Klicken Sie im Bereich Erweitertes Monitoring und Logging neben Dataproc Cloud Logging auf Bearbeiten.

  4. Klicken Sie im Fenster Cloud Logging das Kästchen Cloud Logging aktivieren an.

  5. Klicken Sie auf Speichern.

Logs ansehen

Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen. Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, suchen Sie nach dem RunID. Verwenden Sie anschließend in Logging den RunID, um Ihre Pipelinelogs aufzurufen.

Ausführungs-ID der Pipeline abrufen

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie auf Liste.
  3. Klicken Sie auf die Pipeline, für die Sie die ID der Ausführung abrufen möchten.
  4. Klicken Sie auf Zusammenfassung.
  5. Klicken Sie im Bereich Ausführungsverlauf auf Tabelle.
  6. Wenn Sie die ID kopieren möchten, klicken Sie mit der rechten Maustaste auf RunID und dann auf Kopieren.

Logs im Log-Explorer ansehen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Logging > Log-Explorer auf:

    Log-Explorer aufrufen

  2. Wählen Sie im Drop-down-Menü Alle Ressourcen die Option Cloud Dataproc-Cluster > cdap-PIPELINE_NAME-YOUR_RUNID aus.

Optional: Logs filtern

Verwenden Sie die Filtermenüs, um Ihre Protokolle zu filtern. Sie können nach verschiedenen Logebenen oder nach Komponenten wie datafusion-pipeline-logs filtern.

Optional: Protokolle herunterladen

Klicken Sie auf Logs herunterladen.

Weitere Informationen finden Sie unter Logeinträge herunterladen.

Nächste Schritte