Administración flujos de trabajo

En este documento, se describe cómo administrar flujos de trabajo, incluidos cómo programarlos y borrarlos.

En este documento, también se describe cómo ver y administrar los metadatos de flujo de trabajo en Dataplex.

Workflows se basan en Dataform.

Antes de comenzar

  1. Crea un flujo de trabajo.
  2. Para administrar los metadatos de flujo de trabajo en Dataplex, asegúrate de que la API de Dataplex esté habilitada en tu proyecto de Google Cloud .

Roles obligatorios

Para obtener los permisos que necesitas para administrar flujos de trabajo, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para administrar los metadatos de flujos de trabajo en Dataplex, asegúrate de tener los roles de Dataplex necesarios.

Para obtener más información sobre IAM de Dataform, consulta Control de acceso con IAM.

Ver todos los flujos de trabajo

Para ver una lista de todos los flujos de trabajo de tu proyecto, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, haz clic en y expande Flujos de trabajo.

Cómo ver ejecuciones manuales anteriores

Para ver las ejecuciones manuales anteriores de un flujo de trabajo seleccionado, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Flujos de trabajo y, luego, selecciona un flujo de trabajo.

  3. Haz clic en Ejecuciones.

  4. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Configura alertas para las ejecuciones de flujos de trabajo con errores

Cada flujo de trabajo tiene un ID de repositorio de Dataform correspondiente. Cada ejecución de flujo de trabajo de BigQuery se registra en Cloud Logging con el ID correspondiente del repositorio de Dataform. Puedes usar Cloud Monitoring para observar las tendencias en los registros de Cloud Logging de las ejecuciones de flujos de trabajo de BigQuery y para notificarte cuando se produzcan las condiciones que describes.

Para recibir alertas cuando falle una ejecución de flujo de trabajo de BigQuery, puedes crear una política de alertas basada en registros para el ID del repositorio de Dataform correspondiente. Para obtener instrucciones, consulta Configura alertas para invocaciones de flujos de trabajo fallidas.

Para encontrar el ID del repositorio de Dataform de tu flujo de trabajo, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Flujos de trabajo y, luego, selecciona un flujo de trabajo.

  3. Haz clic en Configuración.

    El ID del repositorio de Dataform de tu flujo de trabajo se muestra en la parte inferior de la pestaña Configuración.

Cómo borrar un flujo de trabajo

Para borrar definitivamente un flujo de trabajo, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Flujos de trabajo. Busca el flujo de trabajo que quieres borrar.

  3. Haz clic en Ver acciones junto al flujo de trabajo y, luego, en Borrar.

  4. Haz clic en Borrar.

Administra metadatos en Dataplex

Dataplex te permite almacenar y administrar metadatos para los flujos de trabajo. Workflows están disponibles en Dataplex de forma predeterminada, sin configuración adicional.

Puedes usar Dataplex para administrar flujos de trabajo en todas las ubicaciones de flujo de trabajo. La administración de flujos de trabajo en Dataplex está sujeta a las cuotas y límites de Dataplex y a los precios de Dataplex.

Dataplex recupera automáticamente los siguientes metadatos de los flujos de trabajo:

  • Nombre del recurso de datos
  • Elemento superior del recurso de datos
  • Ubicación del recurso de datos
  • Tipo de recurso de datos
  • Proyecto Google Cloud correspondiente

Dataplex registra los flujos de trabajo como entradas con los siguientes valores de entrada:

Grupo de entrada del sistema
El grupo de entrada del sistema para los flujos de trabajo es @dataform. Para ver los detalles de las entradas de flujo de trabajo en Dataplex, debes ver el grupo de entradas del sistema dataform. Si deseas obtener instrucciones para ver una lista de todas las entradas de un grupo de entradas, consulta Cómo ver los detalles de un grupo de entradas en la documentación de Dataplex.
Tipo de entrada del sistema
El tipo de entrada del sistema para los flujos de trabajo es dataform-code-asset. Para ver los detalles de los flujos de trabajo, debes ver el tipo de entrada del sistema dataform-code-asset, filtrar los resultados con un filtro basado en aspectos y establecer el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Luego, selecciona una entrada del flujo de trabajo seleccionado. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Cómo ver los detalles de un tipo de entrada en la documentación de Dataplex. Si deseas obtener instrucciones para ver los detalles de una entrada seleccionada, consulta Cómo ver los detalles de una entrada en la documentación de Dataplex.
Tipo de aspecto del sistema
El tipo de aspecto del sistema para los flujos de trabajo es dataform-code-asset. Para proporcionar contexto adicional a los flujos de trabajo en Dataplex a través de la anotación de entradas de flujo de trabajo de datos con aspectos, consulta el tipo de aspecto dataform-code-asset, filtra los resultados con un filtro basado en aspectos y establece el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Para obtener instrucciones sobre cómo anotar entradas con aspectos, consulta Administra los aspectos y enriquece los metadatos en la documentación de Dataplex.
Tipo
El tipo de lienzos de datos es WORKFLOW. Este tipo te permite filtrar flujos de trabajo en el tipo de entrada del sistema dataform-code-asset y el tipo de aspecto dataform-code-asset con la consulta aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW en un filtro basado en aspectos.

Para obtener instrucciones sobre cómo buscar recursos en Dataplex, consulta Cómo buscar recursos de datos en Dataplex en la documentación de Dataplex.

¿Qué sigue?