Actualizar entornos

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se explica cómo se puede actualizar un entorno.

Información acerca de las operaciones de actualización

Cuando cambias los parámetros de tu entorno, como especificar nuevos parámetros de escalamiento y rendimiento, o instalar paquetes de PyPI personalizados, se actualiza tu entorno.

Una vez que se complete esta operación, los cambios estarán disponibles en tu entorno.

Para un solo entorno de Cloud Composer, puedes iniciar solo una operación de actualización a la vez. Debes esperar a que se complete una operación de actualización antes de iniciar otra operación de entorno.

Cómo afectan las actualizaciones a las tareas de Airflow en ejecución

Cuando ejecutas una operación de actualización, los programadores de Airflow y trabajadores en tu entorno pueden requerir un reinicio. En este caso, todas las tareas en ejecución se finalizan. Una vez finalizada la operación de actualización completo, Airflow programa estas tareas para un reintento, según configurar reintentos para tus DAG.

Los siguientes cambios provocan la finalización de la tarea de Airflow:

• Actualizar tu entorno a una versión nueva
• Agregar, cambiar o borrar paquetes de PyPI personalizados
• Cambiar las variables de entorno de Cloud Composer
• Agregar o quitar anulaciones de opciones de configuración de Airflow o cambiar sus de salida.
• Cambiar los trabajadores de Airflow CPU, memoria o almacenamiento.
• Reduce la cantidad máxima de trabajadores de Airflow si el valor nuevo es menor que la cantidad de trabajadores en ejecución actualmente. Por ejemplo, si un entorno ejecuta tres trabajadores y el máximo se reduce a dos.
• Se está cambiando el modo de resiliencia del entorno.

Los siguientes cambios no provocan la finalización de la tarea de Airflow:

• Crear, actualizar o borrar un DAG (no una operación de actualización)
• Pausar o reanudar DAG (no una operación de actualización)
• Cambiar las variables de Airflow (no una operación de actualización).
• Cambiar las conexiones de Airflow (no es una operación de actualización)
• Habilitar o inhabilitar la integración del linaje de datos de Dataplex.
• Cambiar el tamaño del entorno
• Cambiar la cantidad de programadores
• Cambiar la CPU, la memoria o el almacenamiento de los programadores de Airflow
• Cambia la cantidad de activadores.
• Cambia los activadores de Airflow CPU, memoria o almacenamiento.
• Cambiar la CPU, la memoria o el almacenamiento del servidor web de Airflow
• Aumentar o disminuir la cantidad mínima de trabajadores
• Reducir la cantidad máxima de trabajadores de Airflow Por ejemplo, si un en la actualidad, ejecuta dos trabajadores y el máximo se reduce a tres.
• Cambiar los períodos de mantenimiento
• Cambiando la configuración de las instantáneas programadas.
• Cambiando las etiquetas de entorno.

Actualiza con Terraform

Ejecuta terraform plan antes del terraform apply para ver si Terraform crea una en lugar de actualizarlo.

Antes de comenzar

• Verifica que tu cuenta, la cuenta de servicio de tu entorno y que la cuenta del agente de servicio de Cloud Composer en tu proyecto permisos requeridos:

  • Tu cuenta debe tener un rol que pueden activar operaciones de actualización del entorno.

  • La cuenta de servicio de tu entorno debe tener un rol que tener permisos suficientes para realizar operaciones de actualización

• El comando gcloud composer environments update finaliza cuando el finalice la operación. Puedes usar la marca --async para no esperar que se complete la operación.

Actualizar entornos

Si necesitas más información para actualizar tu entorno, consulta otra documentación páginas sobre operaciones de actualización específicas. Por ejemplo:

• Anula las opciones de configuración de Airflow
• Configure las variables de entorno
• Instala dependencias de Python
• Escalar entornos
• Configurar redes autorizadas

Consulta los detalles del entorno

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

terraform state show google_composer_environment.RESOURCE_NAME

Cómo revertir cambios de actualizaciones

En situaciones excepcionales, es posible que se interrumpa la operación de actualización (por ejemplo, debido al tiempo de espera) y es posible que los cambios solicitados en todos los componentes del entorno (como el servidor web de Airflow).

Por ejemplo, una operación de actualización podría ser instalar o quitar módulos de PyPI adicionales, redefinir o definir una nueva variable de entorno de Airflow o Cloud Composer, o cambiar algunos parámetros relacionados con Airflow.

Esto puede ocurrir si se activa una operación de actualización cuando otros operaciones están en curso, por ejemplo, la del clúster de Cloud Composer ajuste de escala automático o una operación de mantenimiento.

En ese caso, se recomienda repetir la operación.

Duración de las operaciones de actualización

La mayoría de las operaciones de actualización requieren reiniciar los componentes de Airflow, como los programadores, los trabajadores y los servidores web.

Una vez que se reinicia un componente, se debe inicializar. Durante el los programadores y trabajadores de Airflow descargan el contenido de /dags y /plugins del bucket del entorno. El proceso de sincronización archivos a los programadores y trabajadores de Airflow no es instantáneo y depende el tamaño y la cantidad totales de todos los objetos en estas carpetas.

Recomendamos mantener solo los archivos de DAG y de complementos en /dags y /plugins de forma respectiva) y quita todos los demás archivos. Demasiados datos en las carpetas /dags y /plugins podría ralentizar la inicialización de Airflow y, en ciertos casos, puede hacer que la inicialización no sea posible.

Te recomendamos que conserves menos de 30 MB de datos en las carpetas /dags y /plugins, y que no superes los 100 MB de tamaño de datos.

Para obtener más información, consulta lo siguiente:

• Datos almacenados en Cloud Storage

• Maneja una gran cantidad de DAG y complementos

Actualiza el tipo de máquina para nodos de GKE

Puedes actualizar manualmente el tipo de máquina según la configuración clúster de GKE borrando los default-pool y Crea un default-pool nuevo con el tipo de máquina deseado.

Se recomienda especificar un tipo de máquina adecuado para el tipo el procesamiento que se produce en tu entorno de Cloud Composer cuando crear un entorno.

Si ejecutas trabajos que realizan cálculos que hacen un uso intensivo de los recursos, deseas usar operadores de GKE.

Después de una actualización, el tipo de máquina anterior sigue apareciendo en tu los detalles del entorno. Por ejemplo, la página de detalles Entorno no refleja el nuevo tipo de máquina.

¿Qué sigue?

• Actualiza entornos
• Anula las opciones de configuración de Airflow