VM flexibles Dataproc

Les VM flexibles sont une fonctionnalité Dataproc qui vous permet de spécifier des listes prioritaires de types de VM pour les nœuds de calcul secondaires Dataproc lorsque vous créez un cluster Dataproc.

Pourquoi utiliser des VM flexibles ?

Auparavant, si un type de VM n'était pas disponible lorsque vous envoyiez une requête de création de cluster, la requête échouait et vous deviez mettre à jour votre requête, votre script ou votre code pour spécifier un type de VM de substitution. Ce processus de nouvelle demande peut impliquer plusieurs itérations jusqu'à ce que vous spécifiiez un type de VM disponible.

La fonctionnalité de VM flexible Dataproc vous aide à réussir votre demande de création de cluster en sélectionnant des types de VM de calcul secondaires à partir de vos listes de VM classées, puis en recherchant des zones dans la région de cluster spécifiée où les types de VM listés sont disponibles.

Terminologie

• Type de VM : famille, capacité de mémoire et nombre de cœurs de processeur d'une instance de VM. Dataproc est compatible avec l'utilisation de types de VM prédéfinis et personnalisés.

• Nœuds de calcul secondaires : les nœuds de calcul secondaires ne stockent pas de données. Ils ne fonctionnent que comme nœuds de traitement. Vous pouvez utiliser les nœuds de calcul secondaires pour adapter le calcul sans augmenter l'espace de stockage.

Limites et points à noter

• Les VM flexibles sont disponibles dans Dataproc sur Compute Engine 2.0.74+, 2.1.22+ et les versions d'image Dataproc sur Compute Engine ultérieures.

• Vous ne pouvez spécifier des VM flexibles que pour les nœuds de calcul secondaires.

• Vous pouvez spécifier jusqu'à cinq listes de types de VM classés, avec jusqu'à 10 types de VM dans une liste. Pour en savoir plus, consultez Demander des VM flexibles.

• La création d'un cluster avec des VM flexibles nécessite l'utilisation de la sélection automatique des zones de Dataproc, qui permet à Dataproc de choisir la zone capable de répondre à vos requêtes de type de VM.

• Si votre requête de création de cluster inclut une règle d'autoscaling, les VM flexibles peuvent provenir de différentes familles de VM, mais elles doivent avoir la même quantité de mémoire et le même nombre de cœurs.

• Lors du provisionnement de VM flexibles, Dataproc consomme toutes les réservations disponibles correspondant à la demande, mais pas les réservations "spécifiques" (voir Consommer des instances réservées). Les types de machines correspondant aux réservations sont d'abord sélectionnés dans un classement, puis les types de VM avec le plus grand nombre de processeurs.

• Dataproc applique les quotas Google Cloud au provisionnement flexible des VM.

• Bien que vous puissiez spécifier différents ratios CPU/mémoire pour les types de V de nœuds de calcul primaires et secondaires dans un cluster, cela peut entraîner une dégradation des performances, car le plus petit ratio CPU/mémoire est utilisé comme unité de conteneur la plus petite.

• Si vous mettez à jour un cluster créé à l'aide de VM flexibles, Dataproc sélectionne et ajoute des nœuds de calcul à partir des listes de VM flexibles que vous avez fournies lors de la création de votre cluster.

Demander des VM flexibles

Vous pouvez spécifier des VM flexibles lorsque vous créez un cluster Dataproc à l'aide de la console Google Cloud, de la Google Cloud CLI ou de l'API Dataproc.

• Vous pouvez spécifier jusqu'à cinq listes de types de VM classés, avec jusqu'à 10 types de VM dans une liste. Les listes les moins bien classées ont la priorité la plus élevée. Par défaut, les listes de VM flexibles ont un rang de 0. Dans une liste, Dataproc donne la priorité aux types de VM avec des réservations inutilisées, suivis des plus grandes tailles de VM. Les types de VM d'une liste ayant le même nombre de processeurs sont traités de la même manière.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-machine-type=n1-standard-8 \
    --worker-machine-type=n1-standard-8 \
    --num-workers=4 \
    --num-secondary-workers=4 \
    --secondary-worker-type=non-preemptible \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"

"config": {
  "secondaryWorkerConfig": {
    "instanceFlexibilityPolicy": {
      "instanceSelectionList": [
        {
          "machineTypes": [
            "n1-standard-4",
            "n2-standard-4"
          ],
          "rank": 0
        },
        {
          "machineTypes": [
            "e2-standard-4",
            "n2d-standard-4"
          ],
          "rank": 1
        }
      ]
    }
  }
}

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY=VALUE

"secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"