Sélection de zone automatique de Dataproc

Lorsque vous créez un cluster Dataproc, les ressources du cluster utilisent des points de terminaison régionaux basés sur des zones Compute Engine. Lorsque vous choisissez une région, vous pouvez sélectionner une zone dans cette région, ou vous pouvez omettre la zone de sorte que la fonctionnalité de sélection de zone automatique de Dataproc en choisisse une pour vous dans votre région. Une fois qu'une zone est sélectionnée, tous les nœuds de ce cluster sont déployés sur cette zone.

Réservations de ressources et de sélection de zone automatique

La fonctionnalité sélection de zone automatique donne la priorité à la création d'un cluster dans une zone avec des réservations de ressources, comme suit :

  • Si les ressources de cluster demandées peuvent être entièrement satisfaites par les ressources réservées, plus, si nécessaire, les ressources à la demande dans une zone, la sélection de zone automatique consommera les ressources réservées et à la demande, et créera le cluster dans cette zone.

  • La sélection sélection de zone automatique donne la priorité aux zones en fonction du nombre total de cœurs de processeur (vCPU) réservés dans une zone.

    Exemple : Une requête de création de cluster spécifie 20 n2-standard-2 et 1 n2-standard-64 (40 + 64 vCPUs demandés). La sélection de zone automatique donne la priorité aux zones suivantes en fonction du nombre total de réservations de processeurs virtuels disponibles dans la zone :

    1. Réservations zone-c disponibles : 3 n2-standard-2 et 1 n2-standard-64 (70 vCPUs)
    2. zone-b réservations disponibles : 1 n2-standard-64 (64 vCPUs)

    3. zone-a réservations disponibles : 25 n2-standard-2 (50 vCPUs)

      En supposant que chacune de ces zones dispose de ressources vCPU à la demande supplémentaires et d'autres ressources suffisantes pour répondre à la demande du cluster, la sélection sélection de zone automatique choisira zone-c pour la création du cluster.

  • Si les ressources de cluster demandées ne peuvent pas être entièrement satisfaites par les ressources réservées et à la demande dans une zone, la sélection de zone automatique créera le cluster dans une zone qui est la plus susceptible de satisfaire la demande à l'aide de ressources à la demande.

Utiliser la sélection de zone automatique

Console

Pour créer un cluster Dataproc qui utilise la sélection de zone automatique :

  1. Dans la console Google Cloud , ouvrez la page Dataproc Créer un cluster Dataproc sur Compute Engine. Le panneau Configurer un cluster est sélectionné.
  2. Dans la section Emplacement, procédez comme suit :
    • Sélectionnez une région pour votre cluster.
    • Sous Zone, sélectionnez "Toutes".

Commande gcloud

Pour créer un cluster Dataproc qui utilise la sélection de zone automatique, exécutez la commande gcloud dataproc clusters create. Définissez l'option --region sur une région et omettez l'option --zone (ou laissez l'option vide : --zone= ou zone="").

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

API REST

Pour créer un cluster Dataproc qui utilise la sélection de zone automatique, créez une requête API clusters.create au format JSON, en laissant le champ gceClusterConfig.zoneUri vide. Dans le point de terminaison REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, insérez un nom de région. La fonctionnalité de sélection de zone automatique de Dataproc choisit une zone pour le cluster dans la région spécifiée.

Utiliser des noms de ressources courts avec la sélection de zone automatique : lorsque vous spécifiez un URI de ressource, tel que machineTypeUri ou acceleratorTypeUri, dans une requête API REST de création de cluster avec sélection de zone automatique, utilisez un nom de ressource court sans spécification de zone, par exemple "n1-standard-2" ou "nvidia-tesla-t4".