Configurar alertas y notificaciones para tareas de Dataplex Universal Catalog

En esta página se describe cómo configurar alertas para las ejecuciones de trabajos fallidas de una tarea de Dataplex Universal Catalog.

Para configurar alertas, puedes usar el Explorador de registros de la Google Cloud consola o la API Monitoring.

Terminología

  • Duración del cierre automático de incidencias: puede cerrar una incidencia automáticamente si no hay entradas de registro coincidentes en este periodo.
  • Tiempo entre notificaciones: puedes reducir la frecuencia de las notificaciones repetidas fijando un tiempo entre la misma notificación. Las entradas de registro que coincidan con un filtro se omitirán durante este tiempo. El tiempo mínimo que puedes definir es de 5 minutos.

Configurar notificaciones con el explorador de registros

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir a Explorador de registros

  2. Haz clic en el interruptor Mostrar consulta.

    1. Para configurar una alerta para una ejecución de trabajo fallida de cualquier tarea de Dataplex Universal Catalog en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar una alerta para una ejecución de tarea fallida de una tarea específica de Dataplex Universal Catalog en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Haz clic en Crear alerta.

  4. En el campo Nombre de la política de alertas, escribe el nombre de la nueva alerta.

  5. En el campo Documentación, introduce la descripción que quieras incluir en la notificación. Para obtener más información sobre el contenido que puedes incluir en el campo de documentación de una política de alertas, consulta Usar Markdown y variables en plantillas de documentación.

  6. Haz clic en Siguiente.

  7. Elige los registros que quieras incluir en la alerta y haz clic en Siguiente.

  8. Define el Tiempo entre notificaciones y la Duración del cierre automático de incidentes y haz clic en Siguiente.

  9. Opcional: Selecciona un canal de notificación. Para obtener más información sobre cómo configurar canales de notificación mediante la consola Google Cloud , consulta Gestionar canales de notificación.

  10. Haz clic en Guardar.

Configurar notificaciones con la API Monitoring

  1. Opcional: Habilita la API Monitoring y autoriza a los usuarios para que accedan a ella. Para obtener más información, consulta Habilitar la API Monitoring.
  2. Opcional: Define los roles o permisos necesarios para crear una política de alertas. Para obtener más información, consulta el artículo Autorización necesaria para crear políticas de alertas.
  3. Crea un canal de notificaciones mediante la Google Cloud consola o la CLI de Google Cloud.

  4. Obtén la channel_id:

    gcloud beta monitoring channels list

  5. Crea un archivo policy.json con el siguiente contenido para log-based-alerting-policy:

    1. Configura una alerta para una ejecución de tarea fallida de cualquier tarea de Dataplex Universal Catalog en un proyecto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Para configurar una alerta de ejecución fallida de una tarea específica de Dataplex Universal Catalog en un proyecto, sigue estos pasos:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transfiere el archivo policy.json a la CLI de gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si la acción se realiza correctamente, el comando devuelve el nombre del recurso de la nueva política. Por ejemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Siguientes pasos