Control de versiones de Dataproc

Dataproc usa imágenes para unir los conectores Google Cloudútiles y los componentes de Apache Spark y Apache Hadoop en un paquete que se puede implementar en un clúster de Dataproc. Estas imágenes contienen el sistema operativo base (Debian o Ubuntu) para el clúster, junto con los componentes principales y opcionales necesarios a fin de ejecutar trabajos, como Spark, Hadoop y Hive. Estas imágenes se actualizan periódicamente para incluir características y mejoras nuevas. El control de versiones de Dataproc te permite seleccionar conjuntos de versiones de software cuando creas clústeres.

Cómo funciona el control de versiones

Cuando se crea una imagen, se le asigna un número de versión de imagen en el siguiente formato:

version_major.version_minor.version_sub_minor-os_distribution

Se mantienen las siguientes distribuciones de SO:

Consulta las versiones anteriores de la imagen para las distribuciones del SO admitidas.

La práctica recomendada es especificar la versión de la imagen major.minor para los entornos de producción o cuando es importante la compatibilidad con versiones de componentes específicos. Las distribuciones del SO y subsecundarias se configuran automáticamente en la versión semanal más reciente.

Seleccionar versiones

Cuando creas un clúster de Dataproc nuevo, se usa la versión con imágenes de Debian más reciente de forma predeterminada. Puedes seleccionar una versión con imágenes de Debian, Rocky Linux o Ubuntu cuando crees un clúster (consulta la lista de versiones de imágenes de Dataproc). Cuando especificas imágenes basadas en Debian, puedes omitir el sufijo del código de distribución del SO, por ejemplo, si especificas 2.0 para seleccionar la imagen 2.0-debian10. El sufijo del SO debe usarse para seleccionar una imagen basada en Rocky Linux o Ubuntu, por ejemplo, mediante la especificación de 2.0-ubuntu18.

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0 \
    --region=REGION

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0-ubuntu18 \
    --region=REGION

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "2.0"
    }
  }
}
  

Cuando se crean versiones nuevas

Se crean versiones principales nuevas periódicamente para incorporar una o más de las siguientes opciones:

• Versiones principales de:
  • Spark, Hadoop y otros componentes de macrodatos
  • Google Cloud conectores
• Actualizaciones o cambios importantes en la funcionalidad de Dataproc

Las nuevas versiones preliminares (con el sufijo -RC) se lanzan antes de la publicación de una nueva versión principal:

• Las imágenes de vista previa no están diseñadas para usarse en cargas de trabajo de producción.
• Es posible que las versiones de los componentes de la imagen de vista previa se actualicen a la versión de componente disponible más reciente en la versión de imagen de DG posterior a la vista previa.

Se crean versiones secundarias nuevas periódicamente para incorporar una o más de las siguientes opciones:

• Actualizaciones y versiones secundarias de:
  • Spark, Hadoop y otros componentes de macrodatos
  • Google Cloud conectores
• Actualizaciones o cambios menores en la funcionalidad de Dataproc

Cuando se crea un versión secundaria nueva, su imagen de Debian se convierte en el valor predeterminado para la versión principal y representa la última versión de la versión principal.

Las versiones subsecundarias nuevas se crean periódicamente para incorporar una o más de las siguientes opciones:

• Parches o correcciones para un componente en la imagen
• Actualizaciones de versiones secundarias de componentes

Versión de imagen y compatibilidad con Dataproc

Las versiones con imágenes secundarias son compatibles durante 24 meses después del lanzamiento inicial de DG (disponibilidad general). Durante este período, los clústeres que usan estas versiones de imagen son aptos para la asistencia (para recibir correcciones, vuelve a crear el clúster con la última versión de imagen secundaria compatible). Una vez que se cerró la ventana de asistencia, los clústeres que usan las versiones de imagen no son aptos para asistencia.

Versiones de imagen anteriores

Distribuciones de SO admitidas previamente

Las siguientes distribuciones de SO se admitían previamente:

Versiones de imagen sin distribución explícita de SO

Antes del 16 de agosto de 2018, las versiones de imágenes se compilaban con Debian 8 y omitían el código de distribución del SO. Se especifican en el siguiente formato:

version_major.version_minor.version_sub_minor

Versiones 0.1 y 0.2

Las versiones de imagen lanzadas como Alfa o Beta antes de la disponibilidad general de la versión 1.0 de Dataproc no están sujetas a la política de asistencia de Dataproc.

Notas importantes sobre el control de versiones

• Las versiones de imágenes contienen los siguientes componentes:
  • Componentes principales que se instalan en todos los clústeres, como Spark, Hadoop y Hive
  • Componentes opcionales que especificas cuando creas un clúster
• Tus clústeres de Dataproc no se actualizan automáticamente cuando se lanzan nuevas versiones de imágenes.
  • Recomendaciones:
  • Ejecuta clústeres con la versión de imagen secundaria más reciente. Los metadatos de la imagen incluyen una etiqueta previous-subminor, que se establece en true si el clúster no usa la versión secundaria más reciente de la imagen.
    • Para ver los metadatos de una imagen, sigue estos pasos:
      1. Ejecuta el siguiente comando gcloud compute images list --filter para enumerar el nombre del recurso de una imagen de Dataproc.

         gcloud compute images list --project=PROJECT_NAME --filter="labels.goog-dataproc-version ~ ^IMAGE_VERSION (such as 2.2.16-debian12)"
         

      2. Ejecuta el siguiente gcloud compute images describe para ver los metadatos de la imagen.

         gcloud compute images describe --project=PROJECT_NAME IMAGE_NAME"
         

  • Prueba y valida que tus aplicaciones se ejecuten correctamente en los clústeres creados con versiones de imagen nuevas, en especial cuando uses versiones principales de imagen nuevas.