Conferir os registros de pipeline no Cloud Logging

Nesta página, explicamos como ativar o Cloud Logging para sua instância do Cloud Data Fusion e como visualizar registros de pipeline.

Antes de começar

Crie uma instância do Cloud Data Fusion. O processo de criação da instância leva até 30 minutos para ser concluído.

Ativar Cloud Logging

Para usar o Cloud Logging com o pipeline do Cloud Data Fusion, ative o Cloud Logging ao criar a instância do Cloud Data Fusion.

  1. No console do Google Cloud, abra a página Instâncias.
  2. Clique em Criar instância.
  3. Clique em Exibir opções avançadas.

  4. Em Logging and monitoring, clique em Ativar serviço de registro do Stackdriver.

    Ativar o Cloud Logging.

Depois de criar a instância, não será possível ativar o Cloud Logging no console do Google Cloud. Em vez disso, execute este comando da CLI gcloud:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

Ver registros

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, encontre o RunID dele. Em seguida, no Logging, use o RunID para ver os registros do pipeline.

Conseguir o RunID do pipeline

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Studio do Cloud Data Fusion, Clique em Instâncias e depois em Visualizar instância.

      Acesse "Instâncias"

  2. Clique em Resumo > Tabela.

  3. Clique no link RunId para copiar.

    Copie o RunID.

Conferir os registros no Explorador de registros

  1. Acesse Cloud Logging > Página da Análise de registros no console do Google Cloud:

    Análise de registros do Go

  2. Nos menus de filtro, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID;

    Acesse o Cloud Logging.

Opcional: filtrar os registros

Use os menus de filtro para filtrar os registros. É possível filtrar por várias variáveis níveis de gravidade ou por componentes como datafusion-pipeline-logs.

Opcional: fazer o download dos registros

Clique em Fazer o download de registros.

Para mais informações, consulte a documentação do Cloud Logging para fazer o download de entradas de registro.

A seguir