En esta sección se describen las Google Cloud opciones que puedes usar para programar flujos de trabajo.
Plantillas de flujo de trabajo de Dataproc
Las plantillas de flujo de trabajo de Dataproc son un mecanismo flexible y sencillo para gestionar y ejecutar flujos de trabajo. Las plantillas de flujos de trabajo son configuraciones de flujos de trabajo reutilizables. Define un gráfico de tareas con información sobre dónde ejecutar esas tareas.
Cloud Scheduler
Cloud Scheduler es un programador de tareas cron de nivel empresarial totalmente gestionado. Con esta solución, puedes programar prácticamente cualquier tarea (por ejemplo, por lotes o de Big Data) y operaciones de la infraestructura en la nube. Ofrece una programación sencilla basada en el tiempo (por ejemplo, diaria o por horas) sin que tengas que escribir código.
Ventajas:
Permite crear instancias de plantillas de flujo de trabajo basadas en el tiempo mediante expresiones cron conocidas.
No hay código que escribir
Tutorial: Flujo de trabajo con Cloud Scheduler
Cloud Functions
Cloud Run functions es una solución de computación ligera que puedes usar para crear funciones independientes con un solo propósito que respondan a eventos de Cloud sin necesidad de gestionar servidores ni entornos de ejecución. Puedes usar funciones de Cloud Run para iniciar flujos de trabajo en respuesta a eventos de Pub/Sub o a cambios en archivos de Cloud Storage. Puedes usar funciones de Cloud Run con Cloud Scheduler para flujos de trabajo que requieran el cálculo de parámetros basados en el tiempo.
Ventajas:
Permite crear instancias de flujos de trabajo en respuesta a eventos de datos, como archivos nuevos en Cloud Storage o eventos de Pub/Sub.
Se requiere una codificación mínima con las bibliotecas de cliente de Go, Node.js o Python de Dataproc.
Generar flujos de trabajo y parámetros de flujo de trabajo de forma dinámica
Tutorial: Flujo de trabajo con Cloud Run Functions
Cloud Composer
Cloud Composer es un servicio gestionado de Apache Airflow que puedes usar para crear, programar, monitorizar y gestionar flujos de trabajo.
Ventajas:
Admite la programación basada en horas y eventos
Llamadas simplificadas a Dataproc mediante operadores
Generar flujos de trabajo y parámetros de flujo de trabajo de forma dinámica
Crear flujos de datos que abarquen varios Google Cloud productos
Tutorial: Flujo de trabajo con Cloud Composer