Configura alertas y notificaciones para las tareas de Dataplex Universal Catalog

En esta página, se describe cómo configurar alertas para las ejecuciones de trabajos fallidas de una tarea de Dataplex Universal Catalog.

Para configurar alertas, puedes usar el Explorador de registros en la Google Cloud consola o la API de Monitoring.

Terminología

  • Duración del cierre automático de incidentes: Puedes cerrar un incidente automáticamente si no hay entradas de registro que coincidan dentro de este período.
  • Tiempo entre notificaciones: Puedes reducir la frecuencia de las notificaciones repetidas estableciendo un tiempo entre la misma notificación. Durante este tiempo, se omiten las entradas de registro que coinciden con un filtro. El tiempo mínimo que puedes establecer es de 5 minutos.

Configura notificaciones con el Explorador de registros

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. Haz clic en el botón de activar o desactivar Mostrar consulta.

    1. Para configurar una alerta sobre la ejecución fallida de cualquier tarea de Dataplex Universal Catalog en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar una alerta sobre la falla en la ejecución de un trabajo de una tarea específica de Dataplex Universal Catalog en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Haz clic en Crear alerta.

  4. En el campo Nombre de la política de alertas, ingresa un nombre para la alerta nueva.

  5. En el campo Documentación, ingresa la descripción que deseas incluir en la notificación. Para obtener más información sobre el contenido que puedes incluir en el campo de documentación de una política de alertas, consulta Cómo usar Markdown y variables en plantillas de documentación.

  6. Haz clic en Siguiente.

  7. Elige los registros que deseas incluir en la alerta y haz clic en Siguiente.

  8. Establece el Tiempo entre notificaciones y la Duración del cierre automático de incidentes, y haz clic en Siguiente.

  9. Opcional: Selecciona un canal de notificaciones. Para obtener más información sobre cómo configurar canales de notificaciones con la consola de Google Cloud , consulta Administra canales de notificaciones.

  10. Haz clic en Guardar.

Configura notificaciones con la API de Monitoring

  1. Opcional: Habilita la API de Monitoring y autoriza a los usuarios para acceder a ella. Para obtener más información, consulta Habilita la API de Monitoring.
  2. Opcional: Establece los roles o permisos necesarios para crear una política de alertas. Para obtener más información, consulta Autorización requerida para crear políticas de alertas.
  3. Crea un canal de notificaciones con la consola deGoogle Cloud o la CLI de Google Cloud.

  4. Obtén el channel_id:

    gcloud beta monitoring channels list

  5. Crea un archivo policy.json con el siguiente contenido para log-based-alerting-policy:

    1. Configura una alerta para la ejecución fallida de cualquier tarea de Dataplex Universal Catalog en un proyecto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Sigue estos pasos para configurar una alerta sobre la falla en la ejecución de un trabajo para una tarea específica de Dataplex Universal Catalog en un proyecto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Pasa el archivo policy.json a la CLI de gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si se completa correctamente, el comando devuelve el nombre del recurso de la política nueva. Por ejemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

¿Qué sigue?