Asignación automática de zonas de Dataproc

Cuando creas un clúster de Dataproc, los recursos del clúster usan endpoints regionales basados en zonas de Compute Engine. Cuando elijas una región, puedes seleccionar una zona dentro de esa región u omitir la zona para que la función de zona automática de Dataproc elija una zona por ti en la región que elijas. Una vez que se haya seleccionado una zona, todos los nodos de ese clúster se desplegarán en esa zona.

Reservas de recursos y de asignación automática de zonas

Auto Zone prioriza la creación de un clúster en una zona con reservas de recursos, de la siguiente manera:

  • Si los recursos del clúster solicitados se pueden satisfacer por completo con los recursos reservados y, si es necesario, con los recursos bajo demanda de una zona, Auto Zone consumirá los recursos reservados y bajo demanda, y creará el clúster en esa zona.

  • La función de zona automática prioriza las zonas para la selección en función de las reservas totales de núcleos de CPU (vCPU) de una zona.

    Ejemplo: Una solicitud de creación de clúster especifica 20 n2-standard-2 y 1 n2-standard-64 (se solicitan 40 + 64 vCPUs). La función Zona automática priorizará las siguientes zonas para la selección en función del total de reservas de vCPU disponibles en la zona:

    1. Reservas disponibles de zone-c: 3 n2-standard-2 y 1 n2-standard-64 (70 vCPUs)
    2. zone-b reservas disponibles: 1 n2-standard-64 (64 vCPUs)

    3. zone-a reservas disponibles: 25 n2-standard-2 (50 vCPUs)

      Si se supone que cada una de estas zonas tiene vCPU adicional bajo demanda y otros recursos suficientes para satisfacer la solicitud del clúster, la función de zona automática seleccionará zone-c para crear el clúster.

  • Si los recursos de clúster solicitados no se pueden satisfacer por completo con los recursos reservados y los recursos bajo demanda de una zona, Auto Zone creará el clúster en la zona que tenga más probabilidades de satisfacer la solicitud con recursos bajo demanda.

Usar la asignación automática de zonas

Consola

Para crear un clúster de Dataproc que use la colocación automática de zonas, sigue estos pasos:

  1. En la Google Cloud consola, abre la página de Dataproc Crear un clúster de Dataproc en Compute Engine. El panel Configurar clúster está seleccionado.
  2. En la sección Ubicación, haga lo siguiente:
    • Selecciona una región para el clúster.
    • En Zona, selecciona "Cualquiera".

Comando gcloud

Para crear un clúster de Dataproc que use la colocación automática de zonas, usa el comando gcloud dataproc clusters create. Asigne a la marca --region una región y omita la marca --zone (o deje la marca vacía: --zone= o zone="").

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

API REST

Para crear un clúster de Dataproc que use la colocación automática de zonas, crea una solicitud de API clusters.create en formato JSON y deja vacío el campo gceClusterConfig.zoneUri. En el endpoint REST https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, inserta el nombre de una región. La función de zona automática de Dataproc elegirá una zona para el clúster dentro de la región especificada.

Usar nombres de recursos cortos con la colocación automática de zonas: al especificar un URI de recurso, como machineTypeUri o acceleratorTypeUri, en una solicitud de creación de clústeres de la API REST de colocación automática de zonas, usa un nombre de recurso corto sin especificar la zona. Por ejemplo, "n1-standard-2" o "nvidia-tesla-t4".