Configurar alertas e notificações para tarefas do Dataplex

Nesta página, descrevemos como configurar alertas para execuções de jobs com falha de uma tarefa do Dataplex.

É possível configurar alertas usando uma das seguintes opções:

  • Análise de registros no console do Google Cloud
  • API Monitoring

Terminologia

  • Duração do fechamento automático de incidentes: quanto tempo leva para o incidente ser encerrado. quando não há entradas de registro correspondentes.
  • Tempo entre as notificações: tempo mínimo entre as notificações para registros que correspondem a um filtro. Todos os registros correspondentes no período mínimo pulado. O tempo mínimo que você pode definir é cinco minutos.

Configurar notificações usando a Análise de registros

  1. Abra o console do Google Cloud. no navegador.
  2. Clique em Menu de navegação > Logging > Análise de registros.

  3. Clique no botão de alternância Mostrar consulta.

    1. Para configurar um alerta de falha na execução de qualquer tarefa do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar um alerta de falha na execução de um job para uma tarefa específica do Dataplex em um projeto, faça o seguinte: digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Clique em Criar alerta.

  5. No campo Nome da política de alertas, digite um nome para o novo alerta.

  6. No campo Documentação, insira a descrição que você quer incluir. a notificação. Para mais informações sobre o conteúdo que você pode incluir no no campo de documentação de uma política de alertas, consulte Como usar Markdown e variáveis em modelos de documentação (em inglês).

  7. Clique em Próxima.

  8. Escolha os registros que você quer incluir no alerta e clique em Próxima.

  9. Defina o Tempo entre as notificações e a Duração do fechamento automático de incidentes. e clique em Próxima.

  10. Opcional: selecione um canal de notificação. Para mais informações sobre como configurar notificações usando o console do Google Cloud, consulte Gerenciar canais de notificação.

  11. Clique em Salvar.

Configurar notificações usando a API Monitoring

  1. Ative a API Monitoring e autorize os usuários a acessá-la. Para mais informações, consulte Como ativar a API Monitoring.
  2. Defina os papéis ou as permissões necessárias para criar uma política de alertas. Para mais informações, consulte Autorização necessária para criar políticas de alertas.
  3. Criar um canal de notificação usando o console do Google Cloud ou a Google Cloud CLI.

  4. Acesse o channel_id usando o seguinte comando: 

    gcloud beta monitoring channels list

  5. Crie um arquivo policy.json com o seguinte conteúdo para log-based-alerting-policy:

    1. Para configurar um alerta para uma execução de job com falha de qualquer tarefa do Dataplex em um projeto, use o seguinte código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Para configurar um alerta de falha na execução de um job para uma tarefa específica do Dataplex em um projeto, faça o seguinte: use este código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmita o arquivo policy.json para a CLI gcloud usando o seguinte comando:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Se for bem-sucedido, o comando retornará o nome do recurso da nova política. Exemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

A seguir