Administrar canalizaciones

En este documento, se describe cómo administrar canalizaciones de BigQuery, lo que incluye cómo programarlas y borrarlas.

En este documento, también se describe cómo ver y administrar los metadatos de la canalización en Dataplex Universal Catalog.

Las canalizaciones funcionan con Dataform.

Antes de comenzar

  1. Crea una canalización de BigQuery.
  2. Para administrar los metadatos de la canalización en Dataplex Universal Catalog, asegúrate de que la API de Dataplex esté habilitada en tu proyecto Google Cloud .

Roles obligatorios

Para obtener los permisos que necesitas para administrar canalizaciones, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para administrar los metadatos de la canalización en Dataplex Universal Catalog, asegúrate de tener los roles de Dataplex Universal Catalog necesarios.

Para obtener más información sobre la IAM de Dataform, consulta Controla el acceso con IAM.

Cómo ver todas las canalizaciones

Para ver una lista de todas las canalizaciones de tu proyecto, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, haz clic en y expande Canalizaciones.

Cómo ver ejecuciones manuales anteriores

Para ver las ejecuciones manuales anteriores de una canalización seleccionada, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.

  3. Haz clic en Ejecuciones.

  4. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Configura alertas para las ejecuciones de canalizaciones con errores

Cada canalización tiene un ID de repositorio de Dataform correspondiente. Cada ejecución de canalización de BigQuery se registra en Cloud Logging con el ID del repositorio de Dataform correspondiente. Puedes usar Cloud Monitoring para observar las tendencias en los registros de Cloud Logging de las ejecuciones de canalizaciones de BigQuery y notificarte cuando se producen las condiciones que describes.

Para recibir alertas cuando falla una ejecución de canalización de BigQuery, puedes crear una política de alertas basada en registros para el ID del repositorio de Dataform correspondiente. Para obtener instrucciones, consulta Configura alertas para las invocaciones de flujos de trabajo fallidas.

Para encontrar el ID del repositorio de Dataform de tu canalización, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Canalizaciones y, luego, selecciona una canalización.

  3. Haz clic en Configuración.

    El ID del repositorio de Dataform de tu canalización se muestra en la parte inferior de la pestaña Configuración.

Borra una canalización

Para borrar un canal de forma permanente, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y la carpeta Pipelines. Busca la canalización que quieres borrar.

  3. Haz clic en Ver acciones junto a la canalización y, luego, en Borrar.

  4. Haz clic en Borrar.

Administra metadatos en Dataplex Universal Catalog

Dataplex Universal Catalog te permite almacenar y administrar metadatos para las canalizaciones. Las canalizaciones están disponibles en Dataplex Universal Catalog de forma predeterminada, sin configuración adicional.

Puedes usar Dataplex Universal Catalog para administrar canalizaciones en todas las ubicaciones de canalizaciones. La administración de canalizaciones en Dataplex Universal Catalog está sujeta a las cuotas y los límites de Dataplex Universal Catalog y a los precios de Dataplex Universal Catalog.

Dataplex Universal Catalog recupera automáticamente los siguientes metadatos de las canalizaciones:

  • Nombre del recurso de datos
  • Recurso de datos principal
  • Ubicación del recurso de datos
  • Tipo de recurso de datos
  • Proyecto Google Cloud correspondiente

Dataplex Universal Catalog registra las canalizaciones como entradas con los siguientes valores:

Grupo de entrada del sistema
El grupo de entrada del sistema para las canalizaciones es @dataform. Para ver los detalles de las entradas de la canalización en Dataplex Universal Catalog, debes ver el grupo de entradas del sistema dataform. Para obtener instrucciones sobre cómo ver una lista de todas las entradas de un grupo de entradas, consulta Cómo ver los detalles de un grupo de entradas en la documentación de Dataplex Universal Catalog.
Tipo de entrada del sistema
El tipo de entrada del sistema para las canalizaciones es dataform-code-asset. Para ver los detalles de las canalizaciones, debes ver el tipo de entrada del sistema dataform-code-asset, filtrar los resultados con un filtro basado en aspectos y establecer el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Luego, selecciona una entrada de la canalización seleccionada. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Cómo ver los detalles de un tipo de entrada en la documentación de Dataplex Universal Catalog. Para obtener instrucciones sobre cómo ver los detalles de una entrada seleccionada, consulta Cómo ver los detalles de una entrada en la documentación de Dataplex Universal Catalog.
Tipo de aspecto del sistema
El tipo de aspecto del sistema para las canalizaciones es dataform-code-asset. Para proporcionar contexto adicional a las canalizaciones en Dataplex Universal Catalog anotando las entradas de canalizaciones de datos con aspectos, consulta el tipo de aspecto dataform-code-asset, filtra los resultados con un filtro basado en aspectos y establece el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Si deseas obtener instrucciones para anotar entradas con aspectos, consulta Administra aspectos y enriquece metadatos en la documentación de Dataplex Universal Catalog.
Tipo
El tipo de lienzos de datos es WORKFLOW. Este tipo te permite filtrar las canalizaciones en el tipo de entrada del sistema dataform-code-asset y el tipo de aspecto dataform-code-asset con la consulta aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW en un filtro basado en aspectos.

Para obtener instrucciones sobre cómo buscar recursos en Dataplex Universal Catalog, consulta Cómo buscar recursos de datos en Dataplex Universal Catalog en la documentación de Dataplex Universal Catalog.

¿Qué sigue?