Programa canalizaciones
En este documento, se describe cómo programar canalizaciones de BigQuery, lo que incluye cómo programar canalizaciones y cómo inspeccionar ejecuciones de canalizaciones programadas.
Las canalizaciones se basan en Dataform.
Cada programación de canalización se ejecuta con una cuenta de servicio, que seleccionas durante la creación de la programación. Para obtener más información sobre los tipos de cuentas de servicio en Dataform, consulta Acerca de las cuentas de servicio en Dataform.
Los cambios que realices en una canalización se guardarán automáticamente, pero solo estarán disponibles para ti y para los usuarios a los que se les otorgue el rol de administrador de Dataform en el proyecto. Para actualizar el programa con una versión nueva de la canalización, debes implementarla. La implementación actualiza el programa para usar la versión actual de la canalización. Las programaciones siempre ejecutan la versión implementada más reciente.
Las programaciones de canalizaciones que contienen notebooks usan una especificación de entorno de ejecución predeterminada. Durante una ejecución programada de una canalización que contiene notebooks, BigQuery escribe el resultado del notebook en el bucket de Cloud Storage seleccionado durante la creación de la programación.
Antes de comenzar
Antes de comenzar, crea una canalización.
Habilita la programación de canalización
Para programar canalizaciones, debes otorgar los siguientes roles a la cuenta de servicio que planeas usar para las programaciones de canalizaciones:
- Usuario de cuenta de servicio (
roles/iam.serviceAccountUser) - Sigue los pasos de Otorga un solo rol a una cuenta de servicio para agregar tu cuenta de servicio como principal a sí misma. En otras palabras, agrega la cuenta de servicio como principal a la misma cuenta de servicio. Luego, otorga el rol de usuario de cuenta de servicio a este principal.
Si tu canalización contiene consultas SQL, debes otorgar los siguientes roles a la cuenta de servicio que planeas usar para las programaciones de canalización:
- Usuario de trabajo de BigQuery (
roles/bigquery.jobUser) - Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de Usuario de trabajo de BigQuery a tu cuenta de servicio en los proyectos de los que tus canalizaciones leen datos.
- Visualizador de datos de BigQuery (
roles/bigquery.dataViewer) - Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de Visualizador de datos de BigQuery a tu cuenta de servicio en los proyectos de los que tus canalizaciones leen datos.
- Editor de datos de BigQuery (
roles/bigquery.dataEditor) - Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de editor de datos de BigQuery a tu cuenta de servicio en los proyectos a los que tus canalizaciones escriben datos.
Si tu canalización contiene notebooks, debes otorgar los siguientes roles a la cuenta de servicio que planeas usar para las programaciones de canalización:
- Usuario del ejecutor de notebooks (
roles/aiplatform.notebookExecutorUser) - Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de usuario de ejecutor de notebooks a tu cuenta de servicio en el proyecto seleccionado.
- Administrador de almacenamiento (
roles/storage.admin) - Sigue las instrucciones de Agrega un principal a una política a nivel de bucket para agregar tu cuenta de servicio como principal al bucket de Cloud Storage que planeas usar para almacenar el resultado de notebooks ejecutados en ejecuciones de canalización programadas y otorgar el rol de administrador de almacenamiento a este principal.
Además, debes otorgar el siguiente rol a la cuenta de servicio predeterminada de Dataform:
- Creador de tokens de cuenta de servicio (
roles/iam.serviceAccountTokenCreator) - Sigue los pasos de Otorga acceso de creación de tokens a una cuenta de servicio para agregar la cuenta de servicio predeterminada de Dataform como principal a tu cuenta de servicio, y otorga el rol de creador de tokens de cuentas de servicio a esta principal.
Para obtener más información sobre las cuentas de servicio en Dataform, consulta Acerca de las cuentas de servicio en Dataform.
Roles obligatorios
Para obtener los permisos que necesitas para administrar los flujos de trabajo, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Borrar canalizaciones:
Administrador de Dataform (
roles/dataform.Admin) en la canalización -
Crear, editar, ejecutar y borrar programas de canalización:
Administrador de Dataform (
roles/dataform.Admin) en la canalización -
Ver y ejecutar canalizaciones: Visualizador de Dataform (
roles/dataform.Viewer) en el proyecto -
Consultar los programas de canalización:
Editor de Dataform (
roles/dataform.Editor) en el proyecto
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Para obtener más información sobre IAM de Dataform, consulta Controla el acceso con IAM.
Para usar plantillas de entorno de ejecución de notebooks de Colab cuando programes canalizaciones, necesitas el rol de Usuario del entorno de ejecución del notebook (roles/aiplatform.notebookRuntimeUser).
Crea una programación de canalización
Para crear un programa de canalización, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.
Haga clic en Programar (Schedule).
En el panel Programar canalización, en el campo Nombre de la programación, ingresa un nombre para la programación.
En el campo Cuenta de servicio, selecciona una cuenta de servicio.
Si tu canalización contiene un notebook, en la sección Notebook options, en el campo Runtime template, selecciona una plantilla de entorno de ejecución de notebook de Colab o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebooks de Colab, consulta Cómo crear una plantilla de entorno de ejecución.
Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.
Se debe otorgar a la cuenta de servicio seleccionada el rol de IAM de Administrador de almacenamiento en el bucket seleccionado. Para obtener más información, consulta Habilita la programación de canalización.
En la sección frecuencia de programación, haz lo siguiente:
- En el menú Repeticiones, selecciona la frecuencia de las ejecuciones programadas de la canalización.
- En el campo A la hora, ingresa la hora de las ejecuciones de canalización programadas.
- En el menú Zona horaria, selecciona la zona horaria de la programación.
Haz clic en Crear programación.
Cuando creas la programación, se implementa automáticamente la versión actual de la canalización. Para actualizar el programa con una versión nueva de la canalización, implementa la canalización.
La versión implementada más reciente de la canalización se ejecuta en la hora y frecuencia seleccionadas.
Página Programación
En la consola de Google Cloud, ve a la página Programación.
Haz clic en Crear y, luego, selecciona Programación de canalización en el menú.
En el panel Programar canalización, selecciona una canalización para programar.
En el campo Nombre de la programación, ingresa un nombre para la programación.
En el campo Cuenta de servicio, selecciona una cuenta de servicio de Dataform.
Si tu canalización contiene un notebook, en la sección Notebook options, en el campo Runtime template, selecciona una plantilla de entorno de ejecución de notebook de Colab o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebooks de Colab, consulta Cómo crear una plantilla de entorno de ejecución.
Si tu canalización contiene un notebook, en el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.
Se debe otorgar a la cuenta de servicio seleccionada el rol de IAM de Administrador de almacenamiento en el bucket seleccionado. Para obtener más información, consulta Habilita la programación de canalización.
En la sección frecuencia de programación, haz lo siguiente:
- En el menú Repeticiones, selecciona la frecuencia de las ejecuciones de canalización programadas.
- En el campo A la hora, ingresa la hora de las ejecuciones de canalización programadas.
- En el menú Zona horaria, selecciona la zona horaria de la programación.
Haz clic en Crear programación.
Implementa una canalización
La implementación de una canalización actualiza su programación con la versión actual de la canalización. Las programaciones ejecutan la versión implementada más reciente de la canalización.
Para implementar una canalización, sigue estos pasos:
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.
Haz clic en Implementar.
La programación correspondiente se actualiza con la versión actual de la canalización. La versión implementada más reciente de la canalización se ejecuta a la hora programada.
Inhabilita un programa
Para pausar las ejecuciones programadas de una canalización seleccionada sin borrar el programa, puedes inhabilitarlo.
Para inhabilitar una programación de una canalización seleccionada, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.
Haz clic en Ver programación.
En la tabla Detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está habilitada.
Página Programación
En la consola de Google Cloud, ve a la página Programación.
Haz clic en el nombre de la canalización seleccionada.
En la página Detalles de la programación, haz clic en Inhabilitar.
Habilita un programa
Para reanudar las ejecuciones programadas de una programación de canalización inhabilitada, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.
Haz clic en Ver programación.
En la tabla Detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está inhabilitada.
Página Programación
En la consola de Google Cloud, ve a la página Programación.
Haz clic en el nombre de la canalización seleccionada.
En la página Detalles de la programación, haz clic en Habilitar.
Ejecuta una canalización implementada de forma manual
Cuando ejecutas de forma manual una canalización implementada en un programa seleccionado, BigQuery ejecuta la canalización implementada una vez, independientemente del programa.
Para ejecutar manualmente una canalización implementada, sigue estos pasos:
En la consola de Google Cloud, ve a la página Programación.
Haz clic en el nombre de la programación de la canalización seleccionada.
En la página Detalles de la programación, haz clic en Ejecutar.
Consulta todos los programas de canalización
Para ver todas las programaciones de canalización en tu proyecto de Google Cloud, sigue estos pasos:
En la consola de Google Cloud, ve a la página Programación.
Opcional: Para mostrar columnas adicionales con los detalles del programa de canalización, haz clic en Opciones de visualización de columnas y, luego, selecciona las columnas y haz clic en Aceptar.
Consulta los detalles del programa de la canalización
Para ver los detalles de una programación de canalización seleccionada, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.
Haz clic en Ver programación.
Página Programación
En la consola de Google Cloud, ve a la página Programación.
Haz clic en el nombre de la programación de la canalización seleccionada.
Cómo ver las ejecuciones programadas anteriores
Para ver las ejecuciones anteriores de una programación de canalización seleccionada, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.
Haz clic en Ejecuciones.
Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.
Página Programación
En la consola de Google Cloud, ve a la página Programación.
Haz clic en el nombre de la canalización seleccionada.
En la página Detalles del programa, en la sección Ejecuciones anteriores, inspecciona las ejecuciones anteriores.
Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.
Edita la programación de una canalización
Para editar un programa de canalización, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Canales y, luego, selecciona un canal.
Haz clic en Ver programación y, luego, en Editar.
En el diálogo Programar canalización, edita la programación y, luego, haz clic en Actualizar programación.
Página Programación
En la consola de Google Cloud, ve a la página Programación.
Haz clic en el nombre de la canalización seleccionada.
En la página Detalles de la programación, haz clic en Editar.
Haz clic en Ver programación y, luego, en Editar.
En el diálogo Programar canalización, edita la programación y, luego, haz clic en Actualizar programación.
Borra una programación de canalización
Para borrar definitivamente una programación de canalización, sigue estos pasos:
En la consola de Google Cloud, ve a la página Programación.
Elige una de las siguientes opciones:
Haz clic en el nombre del programa de canalización seleccionado y, luego, en la página Detalles del programa, haz clic en Borrar.
En la fila que contiene el programa de canalización seleccionado, haz clic en Ver acciones en la columna Acciones y, luego, en Borrar.
En el cuadro de diálogo que aparece, haz clic en Borrar.
¿Qué sigue?
- Obtén más información sobre las canalizaciones en BigQuery.
- Obtén más información para crear canalización.