Criar alertas de pipeline

Nesta página, descrevemos como configurar alertas para pipelines de dados em o Cloud Data Fusion.

É possível criar alertas com os seguintes serviços:

  • Alertas pelo Cloud Data Fusion: configure esses alertas quando criar um pipeline em lote no Cloud Data Fusion. Depois de implantar o pipeline, mas não é possível adicionar ou editar um alerta.

  • Alertas com base em registros pelo Cloud Monitoring: configure esses alertas no console do Google Cloud antes e depois de implantar o pipeline.

Antes de começar

Você precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte Como criar uma instância do Cloud Data Fusion.

Adicionar um alerta no Cloud Data Fusion

  1. Abra sua instância.

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Acesse a página do Studio em que você está criando o pipeline.

  3. Clique em Configurar > Alertas de pipeline > Adicionar.

  4. Selecione e configure o alerta. Para mais informações sobre como configurar alertas, ver Alertas de pipelines em lote.

  5. Depois de configurar o alerta, clique em Validar para verificar se há erros e em Confirmar.

Criar um alerta no Monitoring

  1. Ativar o Cloud Logging na instância do Cloud Data Fusion.

  2. Crie um alerta com base em registros.

    1. No console do Google Cloud, acesse a página do Explorador de registros.

      Acesse o Explorador de registros

      Nesta página, você pode armazenar, consultar, atualizar e excluir dados.

    2. Digite a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Substitua PROJECT_ID pelo ID do projeto.

    3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado em um cluster do Dataproc e falha. No caso de falhas na criação de clusters do Dataproc, o alerta é não são gerados.

A seguir