Compilar y crear un trabajo de Python en Cloud Run

Escribe el trabajo de muestra

Para escribir un trabajo en Python, haz lo siguiente:

1. Crea un directorio nuevo llamado jobs y usa el comando de cambio de directorio en él:

   mkdir jobs
   cd jobs
   

2. Crea un archivo main.py para el código real del trabajo. Copia las siguientes líneas de muestra en él:

   import json
   import os
   import random
   import sys
   import time
   
   # Retrieve Job-defined env vars
   TASK_INDEX = os.getenv("CLOUD_RUN_TASK_INDEX", 0)
   TASK_ATTEMPT = os.getenv("CLOUD_RUN_TASK_ATTEMPT", 0)
   # Retrieve User-defined env vars
   SLEEP_MS = os.getenv("SLEEP_MS", 0)
   FAIL_RATE = os.getenv("FAIL_RATE", 0)
   
   
   # Define main script
   def main(sleep_ms=0, fail_rate=0):
       """Program that simulates work using the sleep method and random failures.
   
       Args:
           sleep_ms: number of milliseconds to sleep
           fail_rate: rate of simulated errors
       """
       print(f"Starting Task #{TASK_INDEX}, Attempt #{TASK_ATTEMPT}...")
       # Simulate work by waiting for a specific amount of time
       time.sleep(float(sleep_ms) / 1000)  # Convert to seconds
   
       # Simulate errors
       random_failure(float(fail_rate))
   
       print(f"Completed Task #{TASK_INDEX}.")
   
   
   def random_failure(rate):
       """Throws an error based on fail rate
   
       Args:
           rate: a float between 0 and 1
       """
       if rate < 0 or rate > 1:
           # Return without retrying the Job Task
           print(
               f"Invalid FAIL_RATE env var value: {rate}. "
               + "Must be a float between 0 and 1 inclusive."
           )
           return
   
       random_failure = random.random()
       if random_failure < rate:
           raise Exception("Task failed.")
   
   
   # Start script
   if __name__ == "__main__":
       try:
           main(SLEEP_MS, FAIL_RATE)
       except Exception as err:
           message = (
               f"Task #{TASK_INDEX}, " + f"Attempt #{TASK_ATTEMPT} failed: {str(err)}"
           )
   
           print(json.dumps({"message": message, "severity": "ERROR"}))
           sys.exit(1)  # Retry Job Task by exiting the process

   Los trabajos de Cloud Run permiten a los usuarios especificar la cantidad de tareas que se ejecutarán en el trabajo. En este código de muestra, se indica cómo usar la variable de entorno integrada CLOUD_RUN_TASK_INDEX. Cada tarea representa una copia en ejecución del contenedor. Ten en cuenta que las tareas se suelen ejecutar en paralelo. Usar múltiples tareas es útil si cada una puede procesar de forma independiente un subconjunto de tus datos.

   Cada tarea conoce su índice, almacenado en la variable de entorno CLOUD_RUN_TASK_INDEX. La variable de entorno CLOUD_RUN_TASK_COUNT integrada contiene la cantidad de tareas que se proporcionan en el momento de la ejecución del trabajo mediante el parámetro --tasks.

   En el código que se muestra, también aparece cómo reintentar tareas mediante la variable de entorno integrada CLOUD_RUN_TASK_ATTEMPT, que contiene la cantidad de veces que se reintentó esta tarea, a partir del 0 para el primer intento y con incrementos de 1 por cada reintento sucesivo, hasta --max-retries.

   El código también te permite generar fallas como una forma de probar los reintentos y generar registros de errores para que puedas ver cómo se ven.

3. Crea un archivo de texto llamado Procfile sin extensión de archivo que contenga lo siguiente:

   web: python3 main.py

Tu código está completo y listo para empaquetarse en un contenedor.

Compila un contenedor de trabajos, envíalo a Artifact Registry y, luego, impleméntalo en Cloud Run

Importante: En esta guía de inicio rápido, se supone que tienes roles de propietario o de editor en el proyecto que usas para la guía de inicio rápido. De lo contrario, consulta el rol del desarrollador de fuente de Cloud Run para conocer los permisos necesarios para implementar un recurso de Cloud Run desde la fuente.

En esta guía de inicio rápido, se usa la implementación desde la fuente, lo que compila el contenedor, lo sube a Artifact Registry y, luego, implementa el trabajo en Cloud Run:

gcloud run jobs deploy job-quickstart \
    --source . \
    --tasks 50 \
    --set-env-vars SLEEP_MS=10000 \
    --set-env-vars FAIL_RATE=0.1 \
    --max-retries 5 \
    --region REGION \
    --project=PROJECT_ID

En el ejemplo anterior, PROJECT_ID es el ID del proyecto y REGION es la región, por ejemplo, us-central1. Ten en cuenta que puedes cambiar los diversos parámetros a cualquier valor que desees usar para fines de prueba. SLEEP_MS simula que el trabajo y FAIL_RATE hacen que el X% de las tareas fallen, por lo que puedes experimentar con el paralelismo y reintentar las tareas con errores.

Ejecuta un trabajo en Cloud Run

Para ejecutar el trabajo que acabas de crear, sigue estos pasos:

gcloud run jobs execute job-quickstart --region REGION

Reemplaza REGION por la región que usaste cuando creaste e implementaste el trabajo, por ejemplo, us-central1.