Administra canalizaciones

En este documento, se describe cómo administrar canalizaciones de BigQuery, lo que incluye cómo programar y borrar canalizaciones.

En este documento, también se describe cómo ver y administrar los metadatos de las canalizaciones en Dataplex.

Las canalizaciones se basan en Dataform.

Antes de comenzar

  1. Crea una canalización de BigQuery.
  2. Para administrar los metadatos de la canalización en Dataplex, asegúrate de que la API de Dataplex esté habilitada en tu proyecto de Google Cloud.

Roles obligatorios

Para obtener los permisos que necesitas para administrar los flujos de trabajo, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para administrar los metadatos de la canalización en Dataplex, asegúrate de tener los roles de Dataplex necesarios.

Para obtener más información sobre IAM de Dataform, consulta Controla el acceso con IAM.

Cómo ver todas las canalizaciones

Para ver una lista de todas las canalización de tu proyecto, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, haz clic en y expande Canales.

Cómo ver ejecuciones manuales anteriores

Para ver las ejecuciones manuales anteriores de una canalización seleccionada, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

  3. Haz clic en Ejecuciones.

  4. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Configura alertas para ejecuciones de canalización con errores

Cada canalización tiene un ID de repositorio de Dataform correspondiente. Cada ejecución de canalización de BigQuery se registra en Cloud Logging con el ID del repositorio de Dataform correspondiente. Puedes usar Cloud Monitoring para observar las tendencias en los registros de Cloud Logging de las ejecuciones de canalizaciones de BigQuery y para notificarte cuando se produzcan las condiciones que describes.

Para recibir alertas cuando falle una ejecución de canalización de BigQuery, puedes crear una política de alertas basada en registros para el ID del repositorio de Dataform correspondiente. Para obtener instrucciones, consulta Configura alertas para invocaciones de flujos de trabajo fallidas.

Para encontrar el ID del repositorio de Dataform de tu canalización, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.

  3. Haz clic en Configuración.

    El ID del repositorio de Dataform de tu canalización se muestra en la parte inferior de la pestaña Configuración.

Cómo borrar una canalización

Para borrar definitivamente una canalización, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Canales. Busca la canalización que quieres borrar.

  3. Haz clic en Ver acciones junto a la canalización y, luego, en Borrar.

  4. Haz clic en Borrar.

Administra metadatos en Dataplex

Dataplex te permite almacenar y administrar metadatos para las canalizaciones. Las canalizaciones están disponibles en Dataplex de forma predeterminada, sin configuración adicional.

Puedes usar Dataplex para administrar canalizaciones en todas las ubicaciones de canalizaciones. La administración de canalizaciones en Dataplex está sujeta a las cuotas y los límites de Dataplex y a los precios de Dataplex.

Dataplex recupera automáticamente los siguientes metadatos de las canalizaciones:

  • Nombre del recurso de datos
  • Elemento superior del recurso de datos
  • Ubicación del recurso de datos
  • Tipo de recurso de datos
  • Proyecto de Google Cloud correspondiente

Dataplex registra las canalizacións como entradas con los siguientes valores de entrada:

Grupo de entrada del sistema
El grupo de entrada del sistema para las canalización es @dataform. Para ver los detalles de las entradas de canalización en Dataplex, debes ver el grupo de entradas del sistema dataform. Para obtener instrucciones sobre cómo ver una lista de todas las entradas de un grupo de entradas, consulta Cómo ver los detalles de un grupo de entradas en la documentación de Dataplex.
Tipo de entrada del sistema
El tipo de entrada del sistema para las canalización es dataform-code-asset. Para ver los detalles de las canalización, debes ver el tipo de entrada del sistema dataform-code-asset, filtrar los resultados con un filtro basado en aspectos y configurar el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Luego, selecciona una entrada de la canalización seleccionada. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Cómo ver los detalles de un tipo de entrada en la documentación de Dataplex. Si deseas obtener instrucciones para ver los detalles de una entrada seleccionada, consulta Cómo ver los detalles de una entrada en la documentación de Dataplex.
Tipo de aspecto del sistema
El tipo de aspecto del sistema para las canalización es dataform-code-asset. Para proporcionar contexto adicional a las canalizaciones en Dataplex a través de la anotación de entradas de canalizaciones de datos con aspectos, consulta el tipo de aspecto dataform-code-asset, filtra los resultados con un filtro basado en aspectos y establece el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Para obtener instrucciones sobre cómo anotar entradas con aspectos, consulta Administra los aspectos y enriquece los metadatos en la documentación de Dataplex.
Tipo
El tipo de lienzos de datos es WORKFLOW. Este tipo te permite filtrar las canalización en el tipo de entrada del sistema dataform-code-asset y el tipo de aspecto dataform-code-asset con la consulta aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW en un filtro basado en aspectos.

Para obtener instrucciones sobre cómo buscar recursos en Dataplex, consulta Cómo buscar recursos de datos en Dataplex en la documentación de Dataplex.

¿Qué sigue?