Supervisa las ejecuciones

Este documento te muestra cómo hacer lo siguiente:

Antes de comenzar

Para supervisar los registros de ejecución, asegúrate de hacer lo siguiente:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. Selecciona o crea un repositorio.

  3. Selecciona o crea un lugar de trabajo de desarrollo.

  4. Activa una ejecución al menos una vez.

Roles obligatorios

Para obtener los permisos que necesitas para ver los registros de ejecución, pídele a tu administrador que te otorgue el rol de IAM de Editor de Dataform (roles/dataform.editor) en el repositorio de invocaciones de flujo de trabajo. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

El rol de IAM de visualizador de registros (roles/logging.viewer) te otorga acceso de solo lectura a todas las funciones de Cloud Logging. Para obtener más información sobre los permisos y los roles de Identity and Access Management que se aplican a los datos de Logging, consulta Control de acceso con IAM.

Para crear y administrar alertas basadas en registros, asegúrate de que tu rol de IAM incluya los permisos que se describen en Roles necesarios para crear y usar políticas de alertas basadas en registros.

Supervisa los registros de ejecución

En esta sección, se muestra cómo ver los registros de ejecución en Dataform.

Puedes ver los registros de todas las ejecuciones que se activan en un repositorio y los registros de las ejecuciones que se activaron en un espacio de trabajo en las últimas 24 horas.

Inspecciona los registros de ejecución del repositorio

Para ver los registros de todas las ejecuciones activadas en un repositorio, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. Ve a tu repositorio.

  3. Haz clic en Registros de ejecución del flujo de trabajo.

  4. Para ver los detalles de una ejecución, haz clic en ella.

  5. Para ver los detalles de una acción dentro de la ejecución, haz clic en Ver detalles.

Inspecciona los registros de ejecución del espacio de trabajo

Para ver los registros de las 1,000 ejecuciones más recientes que se activaron en un espacio de trabajo en las últimas 24 horas, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. Ve a tu repositorio y selecciona tu lugar de trabajo.

  3. En tu espacio de trabajo, haz clic en Ejecuciones.

  4. Para ver los detalles de una ejecución, haz clic en ella.

  5. Para ver los detalles de una acción dentro de la ejecución, haz clic en Ver detalles.

Visualiza los registros de Logging para Dataform

En esta sección, se muestra cómo ver los registros de Cloud Logging para las invocaciones de flujos de trabajo de Dataform.

Cada invocación de flujo de trabajo de Dataform se registra con Logging. El registro se habilita automáticamente para las invocaciones de flujos de trabajo de Dataform, lo que puede generar cargos de facturación de Logging. Para obtener más información, consulta Precios de Dataform.

Ver registros

Para obtener información sobre cómo filtrar los registros de Logging en el Explorador de registros, consulta Visualiza registros con el Explorador de registros.

Los registros de Dataform se indexan por repositorio de Dataform.

Formato de registro

Dataform envía mensajes de registro de invocación del flujo de trabajo en el siguiente formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

¿Qué se registra?

Las entradas de registro de Dataform contienen información útil para supervisar y depurar las invocaciones de tu flujo de trabajo.

Las entradas de registro contienen los siguientes tipos de información:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: Puede ser INFO, WARNING o ERROR
  • terminalState: Puede ser SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Configura métricas y alertas con Cloud Monitoring

Puedes usar Monitoring para observar las tendencias en tus registros y notificarte cuando se producen las condiciones que describes.

Para proporcionar a Monitoring datos de tus registros, Logging te ofrece lo siguiente:

  • Métricas basadas en registros, que puedes usar de la siguiente manera:
    • Para crear políticas de alertas que te notifiquen sobre cambios a lo largo del tiempo
    • Para crear gráficos que muestren cambios con el tiempo
  • Alertas basadas en registros, que te notifican cada vez que aparece un evento específico en un registro.

Para obtener más información sobre las métricas y las alertas basadas en registros, consulta Supervisa tus registros.

Si quieres obtener información para configurar alertas basadas en registros para las invocaciones de flujos de trabajo de Dataform, consulta Configura alertas para las invocaciones de flujos de trabajo fallidas.

Configura alertas para las invocaciones de flujos de trabajo con errores

En esta sección, se muestra cómo configurar alertas basadas en registros para las invocaciones fallidas del flujo de trabajo de Dataform con el Explorador de registros.

Puedes usar Monitoring para observar las tendencias en los registros de Logging de las invocaciones del flujo de trabajo de Dataform y para notificarte cuando se producen las condiciones que describes.

Cada invocación de flujo de trabajo de Dataform se registra con Logging. El registro se habilita automáticamente para las invocaciones de flujos de trabajo de Dataform, lo que puede generar cargos de facturación de Logging. Para obtener más información, consulta Precios de Dataform.

Para recibir alertas cuando falle una invocación de flujo de trabajo de Dataform, puedes crear alertas basadas en registros.

Puedes crear alertas basadas en registros desde la página Explorador de registros en la consola de Google Cloud o con la API de Monitoring. En esta sección, se describe cómo crear alertas basadas en registros para errores de invocación del flujo de trabajo de Dataform con el Explorador de registros.

Para configurar alertas basadas en registros para las invocaciones fallidas del flujo de trabajo de Dataform, sigue estos pasos:

  1. En la consola de Google Cloud , selecciona Logging y, luego, Explorador de registros.

    Ir al Explorador de registros

  2. En el panel Consulta, selecciona Mostrar consulta y, luego, ingresa la siguiente consulta:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Esta consulta te alerta sobre todas las invocaciones fallidas del flujo de trabajo de Dataform.

    1. Opcional: Para filtrar las invocaciones de flujo de trabajo fallidas por una configuración de lanzamiento, agrega lo siguiente a la consulta:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Reemplaza RELEASE_CONFIGURATION_ID por el ID de la configuración de la versión.

    2. Opcional: Para filtrar las invocaciones de flujos de trabajo fallidas por una configuración de flujo de trabajo, agrega lo siguiente a la consulta:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Reemplaza WORKFLOW_CONFIGURATION_ID por el ID de la configuración del flujo de trabajo.

    La siguiente consulta te alerta cuando falla una invocación de flujo de trabajo de Dataform relacionada con la configuración de lanzamiento daily y la configuración de flujo de trabajo production:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. Opcional: Para validar la consulta, usa Ejecutar consulta en el panel Resultados de la consulta.

  4. En el encabezado del panel Resultados de la consulta, haz clic en Crear alerta. Cuando la ventana es estrecha, es posible que la opción Crear alerta aparezca en el menú Acciones.

  5. En el panel Detalles de la alerta, asígnale un nombre y una descripción a la alerta:

    1. Ingresa un nombre para la alerta en el campo Nombre de la alerta. Por ejemplo: Dataform: workflow failure

    2. Ingresa una descripción de esta alerta. También puedes incluir información que pueda ayudar al destinatario de una notificación a diagnosticar el problema. La siguiente cadena resume el motivo de la alerta:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Para obtener información sobre cómo puedes dar formato y adaptar el contenido de este campo, consulta Anota notificaciones con documentación definida por el usuario.

  6. Para avanzar al paso siguiente, haz clic en Siguiente.

  7. En el panel Elegir registros para incluir en el alerta, haz clic en Obtener vista previa de los registros para verificar la consulta y los resultados.

    Recomendamos compilar la consulta en el panel Consulta del Explorador de registros. La consulta que creaste en el panel Consulta también se muestra en este panel.

    Si es necesario, puedes editar la consulta en este panel. Si editas la consulta, haz clic en Obtener vista previa de los registros para verificar los resultados.

  8. Haz clic en Siguiente.

  9. Selecciona el tiempo mínimo entre notificaciones. Este valor te permite controlar la cantidad de notificaciones que recibes de esta alerta si se activa varias veces. Para este ejemplo, selecciona 5 min en las opciones.

  10. Opcional: Selecciona la duración del cierre automático de incidentes. De forma predeterminada, la duración del cierre automático del incidente se establece en 7 días.

  11. Haz clic en Siguiente.

  12. Selecciona uno o más canales de notificaciones para tu alerta. Para este ejemplo, selecciona un canal de notificaciones por correo electrónico.

    Si ya tienes configurado un canal de notificaciones por correo electrónico, puedes seleccionarlo de la lista. Si no es así, haz clic en Administrar canales de notificaciones y agrega un canal de correo electrónico. Para obtener información sobre cómo crear canales de notificaciones, consulta Cómo crear y administrar canales de notificaciones.

  13. Haz clic en Guardar.

Tu alerta basada en registros ya está lista para probarse. Para obtener instrucciones para probar la alerta, consulta Cómo probar la política de alertas basada en registros de ejemplo.

¿Qué sigue?