En esta página, se describe cómo cambiar la versión de imagen de Dataproc usada por tu instancia de Cloud Data Fusion. Puedes cambiar la imagen en la instancia, espacio de nombres o canalización.
Antes de comenzar
Detén todas las canalizaciones y los trabajos de replicación en tiempo real en la instancia de Cloud Data Fusion. Si una canalización o replicación en tiempo real que se ejecuta cuando cambias la versión de la imagen de Dataproc, no se aplican a la ejecución de la canalización.
En el caso de las canalizaciones en tiempo real, si está habilitado el registro de puntos de control, detener las canalizaciones no causa ninguna pérdida de datos. Para los trabajos de replicación, siempre que como los registros de la base de datos están disponibles, lo que permite detener e iniciar el trabajo de replicación no causa la pérdida de datos.
Console
Dirígete a la página Instancias de Cloud Data Fusion (en CDAP, haz clic en Ver instancias) y abrir la instancia en la que necesitas detener una en una canalización de integración continua.
Abre cada canalización en tiempo real en Pipeline Studio y haz clic en Detener.
Abre cada trabajo de replicación en la página Replicar y Haz clic en Detener.
API de REST
Para recuperar todas las canalizaciones, usa la siguiente llamada a la API de REST:
GET -H "Authorization: Bearer ${AUTH_TOKEN}" \ "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps"Reemplaza
NAMESPACE_IDpor el nombre de tu espacio de nombres.Para detener una canalización en tiempo real, usa la siguiente llamada a la API de REST:
POST -H "Authorization: Bearer ${AUTH_TOKEN}" \ "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/spark/DataStreamsSparkStreaming/stop"Reemplaza NAMESPACE_ID por el nombre de tu de espacio de nombres y PIPELINE_NAME con el nombre del en tiempo real.
Para detener un trabajo de replicación, usa la siguiente llamada a la API de REST:
POST -H "Authorization: Bearer ${AUTH_TOKEN}" \ "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/REPLICATION_JOB_NAME/workers/DeltaWorker/stop"Reemplaza NAMESPACE_ID por el nombre de tu El espacio de nombres y REPLICATION_JOB_NAME con el nombre del trabajo de replicación.
Para obtener más información, consulta Detén canalizaciones en tiempo real. y detener los trabajos de replicación.
Verifica y anula la versión predeterminada de Dataproc en Cloud Data Fusion
Haz clic en Administrador del sistema > Configuración > Sistema. Preferencias.
Si no se especifica una imagen de Dataproc en Preferencias del sistema, o para cambiar la preferencia, haz clic en Edit System Preferences (Editar preferencias del sistema).
Ingresa el siguiente texto en el campo Clave:
system.profile.properties.imageVersionIngresa la imagen de Dataproc elegida en el campo Valor. como
2.1.Haz clic en Guardar y cerrar.
Este cambio afecta a toda la instancia de Cloud Data Fusion, incluidas todas su espacio de nombres y ejecuciones de canalizaciones, a menos que la propiedad de la versión de la imagen esté se anula en un espacio de nombres, una canalización o un argumento de entorno de ejecución en tu instancia.
Cambia la versión de la imagen de Dataproc
La versión de la imagen se puede configurar en la interfaz web de Cloud Data Fusion en la Configuraciones de procesamiento, preferencias de espacio de nombres o argumentos de entorno de ejecución de la canalización.
Cambia la imagen en Preferencias de espacio de nombres
Si anulaste la versión de la imagen en las propiedades de tu espacio de nombres, sigue estos pasos:
Haz clic en Administrador del sistema > Configuración > Espacios de nombres.
Abre cada espacio de nombres y haz clic en Preferences.
Asegúrate de que no haya anulación con la clave
system.profile.properties.imageVersioncon una imagen incorrecta de la versión.Haz clic en Finish (Finalizar).
Cambia la imagen en los perfiles de procesamiento del sistema
Haz clic en Administrador del sistema > Configuración.
Haz clic en Sistema Perfiles de cómputos > Crear perfil nuevo.
Selecciona el aprovisionador Dataproc.
Crea el perfil para Dataproc. En la versión con imágenes , ingresa una versión de imagen de Dataproc.
Selecciona este perfil de procesamiento mientras ejecutas la canalización en Studio . En la página de ejecución de la canalización, haz clic en Configurar > Procesamiento. config y selecciona este perfil.
Selecciona el perfil de Dataproc y haz clic en Guardar.
Haz clic en Finish (Finalizar).
Cambia la imagen en los argumentos del entorno de ejecución de la canalización
Si anulaste la versión de la imagen con una propiedad en el entorno de ejecución Argumentos de tu canalización, sigue estos pasos:
Haz clic en Menú > Lista.
En la página Lista, selecciona la canalización que deseas actualizar.
La canalización se abrirá en la página de Studio.
Para expandir las opciones de Run, haz clic en la flecha de expansión .
Se abrirá la ventana Runtime Arguments.
Verifica que no haya anulación con la clave
system.profile.properties.imageVersioncon una versión de imagen incorrecta como valor.Haz clic en Guardar.
Recrea clústeres de Dataproc estáticos que usa Cloud Data Fusion con la versión de la imagen elegida
Si usas clústeres de Dataproc existentes Cloud Data Fusion, sigue la guía de Dataproc para recrear los clústeres con el la versión de imagen de Dataproc elegida para tu Cloud Data Fusion versión.
Como alternativa, puedes crear un nuevo clúster de Dataproc con el la versión de imagen de Dataproc elegida y borrar y volver a crear la instancia en Cloud Data Fusion con el mismo nombre de perfil de procesamiento y actualizado Nombre del clúster de Dataproc. De esta manera, ejecutar canalizaciones por lotes puede completa la ejecución en el clúster existente y las ejecuciones de canalización posteriores toman en el nuevo clúster de Dataproc. Puedes borrar el anterior clúster de Dataproc después de confirmar que se ejecutan todas las canalizaciones de datos que se completaron.
Verifica que la versión de la imagen de Dataproc esté actualizada
Console
En la consola de Google Cloud, ve a la página Clústeres de Dataproc.
Abre la página Detalles del clúster del clúster nuevo que Cloud Data Fusion se creó cuando especificaste la versión nueva.
El campo Versión de la imagen tiene el valor nuevo que especificaste en Cloud Data Fusion.
API de REST
Obtén la lista de clústeres con sus metadatos:
GET -H "Authorization: Bearer ${AUTH_TOKEN}" \ https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION_ID/clustersReemplaza lo siguiente:
PROJECT_IDpor el nombre de tu espacio de nombresREGION_IDpor el nombre de la región en la que tus clústeres se encuentran
Busca el nombre de tu canalización (nombre del clúster).
En ese objeto JSON, verás la imagen en
config > softwareConfig > imageVersion.
Cambia la imagen de Dataproc a la versión 2.1
Las versiones 6.9.1 y posteriores de Cloud Data Fusion admiten Imagen de Dataproc 2.1 Compute Engine, que se ejecuta en Java 11. En las versiones 6.10.0 y posteriores, la imagen 2.1 es la predeterminada.
Si cambias a la imagen 2.1 para tus canalizaciones por lotes trabajos de replicación exitosos, los controladores de JDBC a los que que los complementos que se usan en esas instancias deben ser compatibles con Java 11.
La imagen 2.1 de Dataproc tiene las siguientes limitaciones en Cloud Data Fusion:
- Los controladores de JDBC de IBM Netezza y DB2 11 no son compatibles.
- La imagen 2.1 no funcionará con los trabajos de reducción de mapa.
- Las versiones del controlador de JDBC usadas en los complementos de base de datos en tu instancia deben ser Se actualizó para que sea compatible con Java 11. Consulta la siguiente tabla para ver las versiones de los controladores que funcionan con Dataproc 2.1 y Java 11:
| Controladores de JDBC | Se quitaron versiones anteriores de Cloud Data Fusion 6.9.1 | Versiones compatibles con Java 8 y Java 11 que funcionan con Dataproc 2.0 o 2.1 |
|---|---|---|
| Controlador JDBC de Cloud SQL para MySQL | - | 1.0.16 |
| Controlador JDBC de Cloud SQL para PostgreSQL | - | 1.0.16 |
| Controlador JDBC DB2 11 | - | - |
| Controlador de JDBC de Microsoft SQL Server | Controlador de Microsoft JDBC 6.0 | Controlador de Microsoft JDBC 9.4 |
| Controlador JDBC para MySQL | 5.0.8 y 5.1.39 | 8.0.25 |
| Controlador JDBC de IBM Netezza | - | - |
| Controlador JDBC de PostgreSQL | 9.4.1211.jre7 y 9.4.1211.jre8 | 42.6.0.jre8 |
| Controlador de Oracle JDBC | ojdbc7 | ojdbc8 (12c y superiores) |
Uso de memoria cuando se usa Dataproc 2.1
Es posible que aumente el uso de memoria para las canalizaciones que usan clústeres de Dataproc 2.1. Si actualizas la instancia a la versión 6.10.0 o posterior
las canalizaciones anteriores fallan debido a problemas de memoria, aumentar el controlador y
del ejecutor a 2,048 MB en la configuración Resources para
en una canalización de integración continua.
Como alternativa, puedes anular la versión de Dataproc si configuras
el argumento de tiempo de ejecución system.profile.properties.imageVersion en 2.0-debian10.