Configurar alertas e notificações para tarefas do Dataplex Universal Catalog

Nesta página, descrevemos como configurar alertas para execuções de jobs com falha de uma tarefa do Dataplex Universal Catalog.

Para configurar alertas, use a Análise de Registros no console do Google Cloud ou a API Monitoring.

Terminologia

  • Duração do fechamento automático de incidentes: é possível fechar um incidente automaticamente se não houver entradas de registro correspondentes nesse período.
  • Tempo entre as notificações: é possível definir um período entre ocorrências da mesma notificação para reduzir as repetições. As entradas de registro que correspondem a um filtro são ignoradas durante esse período. O tempo mínimo que você pode definir é de 5 minutos.

Configurar notificações usando a Análise de Registros

  1. No console do Google Cloud , acesse a página Análise de registros.

    Acessar a Análise de Registros

  2. Clique no botão Mostrar consulta.

    1. Para configurar um alerta de falha na execução de um job em qualquer tarefa do Dataplex Universal Catalog em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar um alerta de falha na execução de um job em uma tarefa específica do Dataplex Universal Catalog em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Clique em Criar alerta.

  4. No campo Nome da política de alertas, digite um nome para o novo alerta.

  5. No campo Documentação, digite a descrição que você quer incluir na notificação. Para saber qual conteúdo pode ser incluído no campo de documentação de uma política de alertas, consulte Como usar Markdown e variáveis em modelos de documentação.

  6. Clique em Próxima.

  7. Escolha os registros que você quer incluir no alerta e clique em Próxima.

  8. Defina o Tempo entre as notificações e a Duração do fechamento automático de incidentes e clique em Próxima.

  9. Opcional: selecione um canal de notificação. Para saber como configurar canais de notificação usando o console do Google Cloud , consulte Gerenciar canais de notificação.

  10. Clique em Salvar.

Configurar notificações usando a API Monitoring

  1. Opcional: ative a API Monitoring e autorize os usuários a acessá-la. Saiba mais em Ativar a API Monitoring.
  2. Opcional: defina os papéis ou as permissões necessárias para criar uma política de alertas. Saiba mais em Autorização necessária para criar políticas de alertas.
  3. Crie um canal de notificação usando o console doGoogle Cloud ou a CLI do Google Cloud.

  4. Gere o channel_id:

    gcloud beta monitoring channels list

  5. Crie um arquivo policy.json com o seguinte conteúdo para log-based-alerting-policy:

    1. Configure um alerta de falha na execução de um job de qualquer tarefa do Dataplex Universal Catalog em um projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Configure um alerta de falha na execução de um job em uma tarefa específica do Dataplex Universal Catalog em um projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmita o arquivo policy.json à CLI gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Se bem-sucedido, o comando vai retornar o nome do recurso da nova política. Por exemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

A seguir