Programa preparaciones de datos
En este documento, se describe cómo programar canalizaciones de preparación de datos y realizar ejecuciones manuales.
Las preparaciones de datos se ejecutan con Dataform. Cada programación de preparación de datos se ejecuta con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio de Dataform que seleccionas cuando configuras la programación o la prueba de ejecución.
Los cambios que realices en los pasos de preparación de datos no se guardarán automáticamente. Debes guardar y, luego, implementar los cambios para que se puedan ejecutar con una programación. Los programas siempre ejecutan la versión implementada más reciente de la preparación de tus datos y excluyen los cambios no implementados que puedas estar desarrollando.
Antes de comenzar
Antes de comenzar, crea una preparación de datos.
Roles obligatorios
Para autorizar una preparación de datos con una cuenta de servicio cuando ejecutas manualmente la preparación de datos en el desarrollo o programas la preparación de datos, debes otorgar los roles a la cuenta de servicio que planeas usar para ejecutar las ejecuciones de preparación de datos. Para obtener más información, consulta Cómo otorgar acceso a la cuenta de servicio de Dataform.
Desarrolla una preparación de datos
A medida que desarrollas una preparación de datos, puedes ejecutar los pasos de forma manual y, luego, inspeccionar el resultado antes de implementar los cambios en la producción. Puedes probar la versión actual que estás desarrollando con tus datos, mientras BigQuery sigue ejecutando la versión implementada más reciente, según un programa. Antes de ejecutar la canalización, debes configurar el destino y corregir los errores de validación.
Ejecuta manualmente una preparación de datos en el desarrollo
Para probar los pasos de preparación de datos y validar los resultados en la tabla de destino, ejecuta la preparación de datos de forma manual desde el editor de preparación de datos:
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Preparaciones de datos. Haz clic en el nombre de la preparación de datos que deseas ejecutar.
En la barra de herramientas del editor de preparación de datos, haz clic en Más > Configurar la experiencia de ejecución inmediata.
En la sección Authentication, autoriza la preparación de datos con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.
- Para usar las credenciales de usuario de tu Cuenta de Google (versión preliminar), selecciona Ejecutar con mis credenciales de usuario. Esta es la opción predeterminada.
- Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio. Si la cuenta de servicio necesita permisos adicionales, haz clic en Otorgar todo para otorgarle los roles requeridos.
Haz clic en Guardar.
Corrige los errores de validación que aparezcan.
En la barra de herramientas del editor de preparación de datos, haz clic en Ejecutar.
En el diálogo Ejecutar ahora, haz clic en Confirmar para confirmar que esta ejecución manual escribe datos en una tabla de destino, que también podrías usar para ejecuciones programadas.
Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google (versión preliminar).
Luego, la ejecución lleva a cabo tus pasos y carga el resultado en el destino.
Opcional: Una vez que se complete la ejecución, puedes ver los detalles sobre la ejecución en el panel Ejecuciones.
Implementa una preparación de datos
Para programar ejecuciones de una versión de tu preparación de datos, primero debes implementarla. Las programaciones ejecutan la versión implementada más recientemente.
Para implementar una preparación de datos, sigue estos pasos:
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Preparaciones de datos. Haz clic en el nombre de la preparación de datos elegida.
Se abrirá el editor de preparación de datos.
En la barra de herramientas del editor de preparación de datos, haz clic en Implementar.
Crear una programación
Para crear un programa que ejecute los pasos de preparación de datos implementados y cargue los datos preparados en la tabla de destino, primero debes programar una ejecución de preparación de datos. Para programar la ejecución, debes configurar el destino y corregir los errores de validación.
Para crear una programación de preparación de datos, sigue estos pasos:
Panel Explorador
En la consola de Google Cloud , ve a la página BigQuery.
En el panel Explorador, expande tu proyecto y la carpeta Preparaciones de datos. Haz clic en el nombre de la preparación de datos que deseas programar.
En la barra de herramientas del editor de preparación de datos, haz clic en Programar.
Ingresa un nombre para la programación.
En la sección Authentication, autoriza la preparación de datos con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.
- Para usar las credenciales de usuario de tu Cuenta de Google (versión preliminar), selecciona Ejecutar con mis credenciales de usuario.
- Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio.
Programa una frecuencia.
Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google (versión preliminar).
Página Programación
En la consola de Google Cloud , ve a la página Scheduling.
Haz clic en Crear y, luego, selecciona Programa de preparación de datos en el menú.
En el panel Programar la preparación de datos, en el campo Preparación de datos, selecciona la preparación de datos que deseas programar.
En el campo Nombre de la programación, ingresa un nombre para la programación.
En la sección Authentication, autoriza la preparación de datos con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.
- Para usar las credenciales de usuario de tu Cuenta de Google (versión preliminar), selecciona Ejecutar con mis credenciales de usuario.
- Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio.
En la sección frecuencia de programación, haz lo siguiente:
- En el menú Se repite, selecciona la frecuencia con la que se ejecutan las preparaciones de datos.
- En el campo A la hora, ingresa la hora de las ejecuciones programadas de preparación de datos.
- En el menú Zona horaria, selecciona la zona horaria para la programación.
Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google (versión preliminar).
Autoriza tu Cuenta de Google
Para autenticar el recurso con las credenciales de usuario de tu Cuenta de Google, debes otorgar permiso de forma manual a las canalizaciones de BigQuery para obtener el token de acceso de tu Cuenta de Google y acceder a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz del diálogo de OAuth.
Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.
Para revocar el permiso que otorgaste, sigue estos pasos:
- Ve a la página de tu Cuenta de Google.
- Haz clic en BigQuery Pipelines.
- Haga clic en Quitar acceso.
Cambiar el propietario de la programación de preparación de datos actualizando las credenciales también requiere aprobación manual si el nuevo propietario de la Cuenta de Google nunca antes creó una programación.
Ejecuta manualmente una preparación de datos programada
Cuando ejecutas manualmente una preparación de datos en un programa seleccionado, BigQuery ejecuta la preparación de datos una vez, independientemente del programa.
Para ejecutar manualmente una preparación de datos programada, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
Haz clic en el nombre del programa de preparación de datos seleccionado.
En la página Detalles de la programación, haz clic en Ejecutar.
Ver agendas
Puedes ver los programas de preparación de datos desde el editor de preparación de datos o la página Programación.
Editor de preparación de datos
Para ver la programación de una preparación de datos, sigue estos pasos:
- En la barra de herramientas del editor de preparación de datos, haz clic en programar Ver programación.
- Opcional: Para ver el historial de la programación, haz clic en Ver ejecuciones anteriores.
Página Programación
Para ver todos los programas de preparación de datos en tu proyecto, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
Opcional: Para ver el historial de ejecución y los detalles de una programación seleccionada, haz clic en el nombre de la programación. No se muestra el historial de ejecuciones manuales.
Edita una planificación
Puedes editar un programa desde el editor de preparación de datos o la página Programación.
Editor de preparación de datos
Para editar un programa, sigue estos pasos:
- En la barra de herramientas del editor de preparación de datos, haz clic en programar Ver programación.
- En el diálogo Programar la preparación de datos, haz clic en Editar y, luego, actualiza la programación.
- Haz clic en Actualizar programación.
Página Programación
Para editar un programa, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
Haz clic en el nombre del programa de preparación de datos seleccionado.
En la página Detalles de la programación, haz clic en Editar.
Haz clic en Ver programación.
En el diálogo Programar la preparación de datos, haz clic en Editar y, luego, actualiza la programación.
Haz clic en Actualizar programación.
Borra un programa
Para borrar de forma permanente un programa de preparación de datos seleccionado, sigue estos pasos:
En la consola de Google Cloud , ve a la página Scheduling.
En la fila que contiene la programación, haz clic en more_vert Acciones > Borrar.
¿Qué sigue?
- Obtén información para crear preparaciones de datos.
- Obtén más información para administrar las preparaciones de datos.