Conferir registros de pipeline avançados no Cloud Logging

Nesta página, descrevemos como ativar o Cloud Logging para seus clusters do Dataproc do Cloud Data Fusion e acessar registros de pipeline avançados.

Ativar o Dataproc Cloud Logging

Para conferir problemas de pipeline e cluster no Cloud Logging, ative os registros avançados em instâncias novas ou atuais do Cloud Data Fusion. Para ativar os registros avançados em uma instância atual, faça o seguinte:

  1. No console do Google Cloud, acesse a página Instâncias do Cloud Data Fusion.

    Acesse "Instâncias"

  2. Clique no nome da instância.

  3. Na seção Monitoramento e registro avançados, para o Dataproc Cloud Logging, clique em Editar.

  4. Na janela Cloud Logging, marque a caixa de seleção Ativar o Cloud Logging.

  5. Clique em Salvar.

Ver registros

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, encontre o RunID dele. Em seguida, no Logging, use o RunID para ver os registros do pipeline.

Conseguir o RunID do pipeline

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Clique em Lista.
  3. Clique no pipeline para o qual você quer receber o ID de execução.
  4. Clique em Resumo.
  5. Na seção Histórico de execução, clique em Tabela.
  6. Para copiar o ID da execução, clique com o botão direito do mouse em RunID e clique em Copiar.

Conferir os registros no Explorador de registros

  1. No console do Google Cloud, acesse a página Cloud Logging > Análise de registros:

    Acessar a Análise de registros

  2. No menu suspenso Todos os recursos, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Opcional: filtrar os registros

Use os menus de filtro para filtrar os registros. É possível filtrar por vários níveis de gravidade de registro ou por componentes, como datafusion-pipeline-logs.

Opcional: fazer o download dos registros

Clique em Fazer o download de registros.

Para mais informações, consulte Fazer o download de entradas de registro.

A seguir