Configura alertas y notificaciones para las tareas de Dataplex

En esta página, se describe cómo configurar alertas para las ejecuciones de trabajos fallidas de una tarea de Dataplex.

Puedes configurar alertas mediante una de las siguientes opciones:

  • Explorador de registros en la consola de Google Cloud
  • API de Monitoring

Terminología

  • Duración del cierre automático de incidentes: Es la duración después de la cual se cierra un incidente cuando no hay entradas de registro que coincidan.
  • Tiempo entre notificaciones: Es la cantidad de tiempo mínima que transcurre entre la recepción de las notificaciones. para los registros que coinciden con un filtro. Se omitirán todos los registros coincidentes dentro del tiempo mínimo. El tiempo mínimo que puedes establecer es 5 minutos.

Cómo configurar notificaciones con el Explorador de registros

  1. Abre la consola de Google Cloud. en el navegador.
  2. Haz clic en Menú de navegación > Logging > Explorador de registros.

  3. Haz clic en el botón de activar o desactivar Mostrar consulta.

    1. Para configurar una alerta de ejecución de trabajo fallida de cualquier tarea de Dataplex en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar una alerta de ejecución de trabajo fallida para una tarea específica de Dataplex en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Haz clic en Crear alerta.

  5. En el campo Nombre de la política de alertas, ingresa un nombre para la alerta nueva.

  6. En el campo Documentation, ingresa la descripción que deseas incluir. la notificación. Para obtener más información sobre el contenido que puedes incluir en el campo de documentación de una política de alertas, consulta Usa Markdown y variables en las plantillas de documentación.

  7. Haz clic en Siguiente.

  8. Elige los registros que deseas incluir en la alerta y haz clic en Siguiente.

  9. Configura el Tiempo entre notificaciones y la Duración del cierre automático de incidentes. y haz clic en Siguiente.

  10. Opcional: Selecciona un canal de notificaciones. Para obtener más información sobre la configuración de notificaciones canales con la consola de Google Cloud, consulta Administra los canales de notificación.

  11. Haz clic en Guardar.

Configura notificaciones con la API de Monitoring

  1. Habilita la API de Monitoring y autoriza a los usuarios para que accedan a ella. Para obtener más información, consulta Habilita la API de Monitoring.
  2. Establece los roles o los permisos necesarios para crear una política de alertas. Para obtener más información, consulta Autorización necesaria para crear políticas de alertas.
  3. Crea un canal de notificaciones con la consola de Google Cloud o Google Cloud CLI.

  4. Obtén el channel_id con el siguiente comando: 

    gcloud beta monitoring channels list

  5. Crea un archivo policy.json con el siguiente contenido para log-based-alerting-policy:

    1. Para configurar una alerta de ejecución de trabajo fallida de cualquier tarea de Dataplex en un proyecto, usa el siguiente código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Para configurar una alerta de ejecución de trabajo fallida para una tarea específica de Dataplex en un proyecto, usa el siguiente código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Pasa el archivo policy.json a la CLI de gcloud con el siguiente comando:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si se ejecuta correctamente, el comando muestra el nombre del recurso de la política nueva. Por ejemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

¿Qué sigue?