Visualizzare i log avanzati della pipeline in Cloud Logging

Questa pagina descrive come attivare Cloud Logging per i tuoi cluster Dataproc di Cloud Data Fusion e accedere ai log avanzati della pipeline.

Attiva Cloud Logging per Dataproc

Per visualizzare i problemi relativi a pipeline e cluster in Cloud Logging, abilita i log avanzati nelle istanze Cloud Data Fusion nuove o esistenti. Per attivare i log avanzati in un'istanza esistente:

  1. Nella console Google Cloud, vai alla pagina Istanze di Cloud Data Fusion.

    Vai a Istanze

  2. Fai clic sul nome dell'istanza.

  3. Nella sezione Monitoraggio e logging avanzati, fai clic su Modifica per Dataproc Cloud Logging.

  4. Nella finestra Cloud Logging, seleziona la casella di controllo Abilita Cloud Logging.

  5. Fai clic su Salva.

Visualizza i log

A ogni esecuzione della pipeline Cloud Data Fusion viene assegnato un RunID univoco. Dopo aver eseguito il deployment ed eseguito la pipeline, individua il relativo RunID. Quindi, in logging, utilizza RunID per visualizzare i log della pipeline.

Ottieni il RunID della pipeline

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Elenco.
  3. Fai clic sulla pipeline per cui vuoi ottenere l'ID esecuzione.
  4. Fai clic su Riepilogo.
  5. Nella sezione Cronologia esecuzione, fai clic su Tabella.
  6. Per copiare l'ID esecuzione, fai clic con il tasto destro del mouse su RunID e poi su Copia.

Visualizzare i log in Esplora log

  1. Nella console Google Cloud, vai alla pagina Logging Cloud > Esplora log:

    Vai a Esplora log

  2. Nell'elenco a discesa Tutte le risorse, seleziona Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

(Facoltativo) Filtra i log

Utilizza i menu dei filtri per filtrare i log. Puoi filtrare in base a vari livelli di gravità dei log o a componenti come datafusion-pipeline-logs.

(Facoltativo) Scarica i log

Fai clic su Scarica log.

Per ulteriori informazioni, consulta la sezione relativa al download delle voci di log.

Passaggi successivi