VMs flexibles de Dataproc

Las VMs flexibles son una función de Dataproc que te permite especificar listas de prioridad de tipos de VM para los trabajadores secundarios de Dataproc cuando creas un clúster de Dataproc.

¿Por qué usar VMs flexibles?

Anteriormente, si un tipo de VM no estaba disponible cuando enviabas una solicitud de creación de clúster, la solicitud fallaba y debías actualizar la solicitud, la secuencia de comandos o el código para especificar un tipo de VM “siguiente mejor”. Este proceso de reenvío de solicitudes podría implicar varias iteraciones hasta que especifiques un tipo de VM que esté disponible.

La función de VM flexible de Dataproc ayuda a que tu solicitud de creación de clúster sea exitosa, ya que selecciona tipos de VM de trabajador secundarios de tus listas de VMs clasificadas y, luego, busca zonas dentro de la región del clúster especificada con disponibilidad de los tipos de VM enumerados.

Terminología

• Tipo de VM: Es la familia, la capacidad de memoria y la cantidad de núcleos de CPU de una instancia de VM. Dataproc admite el uso de tipos de VM predefinidos y personalizados.

• Trabajadores secundarios: Los trabajadores secundarios no almacenan datos. Solo funcionan como nodos de procesamiento. Puedes usar trabajadores secundarios para escalar el procesamiento sin escalar el almacenamiento.

Limitaciones y consideraciones

• Las VMs flexibles están disponibles en las versiones de imagen de Dataproc en Compute Engine 2.0.74+, 2.1.22+ y versiones posteriores.

• Solo puedes especificar VMs flexibles para trabajadores secundarios.

• Puedes especificar hasta cinco listas de tipos de VM clasificados, con hasta 10 tipos de VM en una lista. Para obtener más información, consulta Cómo solicitar VMs flexibles.

• La creación de un clúster con VMs flexibles requiere el uso de la ubicación de zona automática de Dataproc, que permite que Dataproc elija la zona que tiene la capacidad de entregar tus solicitudes de tipo de VM.

• Si tu solicitud de creación de clúster incluye una política de ajuste de escala automático, las VMs flexibles pueden ser de diferentes familias de VM, pero deben tener la misma cantidad de memoria y recuento de núcleos.

• Cuando aprovisiona VMs flexibles, Dataproc consume “cualquier reserva que coincida” disponible, pero no las reservas “específicas” (consulta Cómo consumir instancias reservadas). Los tipos de máquinas que coinciden con las reservas se seleccionan primero dentro de una clasificación, seguidos de los tipos de VM con la mayor cantidad de CPUs.

• Dataproc aplica las cuotas de Google Cloud al aprovisionamiento flexible de VM.

• Aunque puedes especificar diferentes proporciones de CPU a memoria para los tipos de VM de trabajo primarios y secundarios en un clúster, esto puede provocar una degradación del rendimiento, ya que la proporción de CPU a memoria más pequeña se usa como la unidad de contenedor más pequeña.

• Si actualizas un clúster que se creó con VMs flexibles, Dataproc selecciona y agrega trabajadores de las listas de VM flexibles que proporcionaste cuando creaste el clúster.

Cómo solicitar VMs flexibles

Puedes especificar VMs flexibles cuando creas un clúster de Dataproc con la consola de Google Cloud, Google Cloud CLI o la API de Dataproc.

• Puedes especificar hasta cinco listas de tipos de VM clasificados, con hasta 10 tipos de VM en una lista. Las listas con la clasificación más baja tienen la prioridad más alta. De forma predeterminada, las listas de VM flexibles tienen una clasificación de 0. Dentro de una lista, Dataproc prioriza los tipos de VM con reservas sin usar, seguidos de los tamaños de VM más grandes. Los tipos de VM dentro de una lista con la misma cantidad de CPU se tratan de la misma manera.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-machine-type=n1-standard-8 \
    --worker-machine-type=n1-standard-8 \
    --num-workers=4 \
    --num-secondary-workers=4 \
    --secondary-worker-type=non-preemptible \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"

"config": {
  "secondaryWorkerConfig": {
    "instanceFlexibilityPolicy": {
      "instanceSelectionList": [
        {
          "machineTypes": [
            "n1-standard-4",
            "n2-standard-4"
          ],
          "rank": 0
        },
        {
          "machineTypes": [
            "e2-standard-4",
            "n2d-standard-4"
          ],
          "rank": 1
        }
      ]
    }
  }
}

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY=VALUE

"secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"