Nœuds de calcul secondaires Dataproc

En plus d'utiliser des VM Compute Engine standards en tant que nœuds de calcul Dataproc (appelés nœuds de calcul "principaux"), les clusters Dataproc peuvent utiliser des nœuds de calcul secondary.

Les caractéristiques suivantes s'appliquent à tous les nœuds de calcul secondaires d'un cluster Dataproc :

• Traitement uniquement : les nœuds de calcul secondaires ne stockent pas de données. Ils fonctionnent uniquement comme nœuds de traitement. Par conséquent, vous pouvez utiliser les nœuds de calcul secondaires pour adapter le calcul sans effectuer le scaling de l'espace de stockage.

• Aucun cluster de nœud de calcul secondaire uniquement : votre cluster doit comporter des nœuds de calcul principaux. Si vous créez un cluster et que vous ne spécifiez pas le nombre de nœuds de calcul principaux, Dataproc ajoute deux nœuds de calcul principaux au cluster.

• Type de machine : par défaut, les nœuds de calcul secondaires utilisent le type de machine des nœuds de calcul principaux du cluster. Par exemple, si vous créez un cluster avec des nœuds de calcul principaux utilisant des types de machines n1-standard-4, par défaut, tous les nœuds de calcul secondaires ajoutés utiliseront également des machines n1-standard-4.

  Au lieu d'utiliser le type de machine par défaut des nœuds de calcul principaux pour les nœuds de calcul secondaires, vous pouvez spécifier une ou plusieurs listes de types de machines classées pour les nœuds de calcul secondaires. Pour en savoir plus, consultez la page VM flexibles Dataproc.

• Taille de disque persistant : par défaut, les nœuds de calcul secondaires sont créés avec une taille de disque de démarrage égale à celle du nœud de calcul primaire ou à 100 Go, selon la valeur qui est la plus faible. Cet espace disque est utilisé pour la mise en cache locale des données et n'est pas disponible via HDFS. Vous pouvez remplacer la taille de disque par défaut à l'aide de la commande gcloud dataproc clusters create --secondary-worker-boot-disk-size lors de la création du cluster. Vous pouvez spécifier cette option même si le cluster ne dispose pas de nœuds de calcul secondaires lors de sa création.

• Création asynchrone : lorsque vous ajoutez des nœuds de calcul secondaires en créant ou en faisant évoluer un cluster, les nœuds de calcul secondaires peuvent ne pas être provisionnés une fois l'opération de création ou de mise à jour terminée. En effet, Dataproc gère les nœuds de calcul secondaires à l'aide des groupes d'instances gérés (MIG, Managed Instance Groups), qui créent des VM de manière asynchrone dès qu'ils peuvent être provisionnés (consultez la sectionVérifier l'état des instances gérées).

Nœuds de calcul secondaires préemptifs et non préemptifs

Il existe trois types de nœuds de calcul secondaires: les VM spot, les VM préemptives standards et les VM non préemptives. Le type de nœud de calcul secondaire Dataproc par défaut est la VM préemptive standard. Vous pouvez spécifier un mélange de nœuds de calcul secondaires Spot et non préemptifs.

Exemple: Si vous sélectionnez trois nœuds de calcul secondaires lorsque vous créez un cluster, vous pouvez spécifier trois VM Spot, trois VM préemptives, trois VM non préemptives ou un mélange de nœuds de calcul Spot et non préemptifs.

Nœuds de calcul préemptifs

• Bien que la suppression potentielle de nœuds de calcul préemptifs puisse affecter la stabilité des tâches, vous pouvez décider d'utiliser des instances préemptives afin de réduire les coûts de calcul par heure pour le traitement des données non critiques ou afin de créer de très grands clusters pour un coût total plus faible (vous pouvez utiliser le simulateur de coût Google Cloud pour estimer les coûts).

• Pour de meilleurs résultats, le nombre de nœuds de calcul préemptifs dans votre cluster doit être inférieur à 50% du nombre total de nœuds de calcul (principal et tous les nœuds de calcul secondaires) de votre cluster.

• En cas d'utilisation de nœuds de calcul préemptifs, vos tâches rencontreront probablement un plus grand nombre de défaillances temporaires de tâches à un seul nœud de calcul que les tâches exécutées sur des nœuds de calcul non préemptifs. Pour améliorer la tolérance des tâches aux défaillances de bas niveau, vous pouvez définir des valeurs de propriété de cluster semblables aux valeurs de propriété par défaut utilisées avec les clusters d'autoscaling pour augmenter le nombre maximal de tentatives d'exécution de tâches et éviter les défaillances de tâches.

• Économies possibles:l'utilisation de VM préemptives ne permet pas toujours de réduire les coûts, car les préemptions peuvent entraîner une exécution des tâches plus longue, ce qui augmente les coûts. Bien que l'utilisation du mode de flexibilité améliorée (EFM) avec des VM préemptives puisse aider à atténuer ce résultat, les économies de coûts globales des VM préemptives varient selon chaque cas d'utilisation. En général, les tâches de courte durée sont plus adaptées à l'utilisation de VM préemptive, car la probabilité de préemptions lors de l'exécution des tâches est plus faible. Essayez différentes options de tâche, telles que l'absence de VM préemptives et les VM préemptives avec EFM, pour estimer les coûts et trouver la meilleure solution.

Nœuds de calcul non préemptifs

• Vous pouvez créer un cluster avec des nœuds de calcul secondaires non préemptifs pour effectuer le scaling des calculs sans sacrifier la stabilité des tâches. Pour ce faire, spécifiez non-preemptible comme type de nœud de calcul secondaire. Vous pouvez combiner des nœuds de calcul secondaires non préemptifs et des nœuds de calcul secondaires ponctuels.

Sélectionner des nœuds de calcul secondaires

Vous pouvez spécifier le nombre et le type de nœuds de calcul secondaires lorsque vous créez un cluster à l'aide de la console Google Cloud, de la gcloud CLI ou de l'API Dataproc.

• Vous pouvez combiner des nœuds de calcul ponctuels avec des nœuds de calcul secondaires non préemptifs.
• Vous pouvez mettre à jour votre cluster après sa création pour modifier le nombre, mais pas le type, de nœuds de calcul secondaires de votre cluster.
• Les mises à jour de libellés se propagent à tous les nœuds de calcul secondaires préemptifs dans les 24 heures. Les mises à jour de libellés ne se propagent pas aux nœuds de calcul secondaires existants non préemptifs. Les mises à jour de libellés sont appliquées à tous les nœuds de calcul ajoutés à un cluster après une mise à jour de libellé. Par exemple, si vous effectuez un scaling à la hausse du cluster, tous les nouveaux nœuds de calcul principal et secondaire se verront affecter de nouveaux libellés.

gcloud dataproc clusters create cluster1 \
    --num-secondary-workers=2 \
    --region=us-central1

gcloud dataproc clusters create cluster2 \
    --num-secondary-workers=2 \
    --secondary-worker-type=spot \
    --region=us-central1

gcloud dataproc clusters create cluster3 \
    --num-secondary-workers=2 \
    --secondary-worker-type=non-preemptible \
    --region=us-central1

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=4 \
    --region=us-central1

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=0 \
    --region=us-central1

POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster1",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  }
}

POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster2",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "SPOT"
    }
  }
}

POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster3",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "NON_PREEMPTIBLE"
    }
  }
}

PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 4
    }
  }
}

Résoudre les problèmes liés aux nœuds de calcul secondaires

• Problèmes d'autorisation au niveau du compte de service:les nœuds de calcul secondaires sont créés via un groupe d'instances géré. En cas de problème d'autorisation, les journaux Dataproc ne signalent pas l'échec de la création de nœuds de calcul secondaires, mais les nœuds de calcul ayant échoué sont listés dans l'onglet VM Instances (Instances de VM) de la page Cluster details (Détails du cluster) de la console Google Cloud sans coche verte. Pour afficher la fiche, ouvrez la page Clusters (Clusters Dataproc), puis cliquez sur le nom du cluster pour ouvrir la page Cluster details (Détails du cluster).

• Problèmes d'autorisation au niveau du groupe d'instances géré:pour vérifier s'il existe un problème avec les autorisations au niveau du groupe d'instances géré:

  1. Recherchez le nom du groupe d'instances géré (instanceGroupManagerName).

     Console

     1. Ouvrez la page Clusters (Clusters Dataproc), puis cliquez sur le nom du cluster pour ouvrir la page Cluster details (Détails du cluster) correspondante.
     2. Cliquez sur REST équivalent en bas de la page, puis affichez la valeur config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.

     Google Cloud CLI

     Exécutez la commande gcloud dataproc clusters describe avec l'option --format pour afficher instanceGroupManagerName.

     gcloud dataproc clusters describe CLUSTER_NAME \
         --region=REGION \
         --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'
     

     API REST

     Envoyez une requête clusters.get pour renvoyer la valeur de config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.
  2. Affichez les journaux dans l'explorateur de journaux.

  • Sélectionnez le type de ressource Google Compute Engine Instance Group, puis filtrez par nom du groupe d'instances géré.

  • Vous pouvez également appliquer un filtre de journalisation pour "resource.type="gce_instance_group" et resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME.

Mélange de nœuds de calcul secondaires non préemptifs

Vous pouvez spécifier un mélange de nœuds de calcul secondaires ponctuels et non préemptifs lorsque vous créez un cluster Dataproc.

Paramètres des nœuds de calcul secondaires pour combiner des nœuds de calcul ponctuels et des nœuds de calcul secondaires non préemptifs

Utilisez les paramètres de nœud de calcul secondaire suivants lorsque vous créez un cluster Dataproc pour obtenir un niveau minimal de capacité de nœud de calcul secondaire avec la possibilité d'augmenter la capacité lorsque des VM spot sont disponibles:

• nœud de calcul secondaire:nombre total de nœuds de calcul secondaires à provisionner.

• type de nœud de calcul secondaire:spot est le type de nœud de calcul secondaire lorsque vous mélangez des nœuds de calcul Spot avec des nœuds de calcul secondaires non préemptifs.

• standardCapacityBase:nombre de nœuds de calcul secondaires non préemptifs (standards) à provisionner. Les nœuds de calcul secondaires non préemptifs sont provisionnés avant les autres types de nœuds de calcul secondaires.

• standardCapacityPercentAboveBase:une fois que le nombre de nœuds de calcul secondaires standardCapacityBase est rempli, le nombre restant de nœuds de calcul secondaires nécessaires pour atteindre le nombre total de nœuds de calcul secondaires demandés est rempli avec un mélange de VM non préemptibles et ponctuelles comme suit:

  • standardCapacityPercentAboveBase: pourcentage des nœuds de travail secondaires restants à remplir avec des VM non préemptibles.
  • Le nombre restant nécessaire pour atteindre le nombre total de travailleurs secondaires demandés est rempli par des VM ponctuelles.

Exemple :

• Nombre de nœuds de calcul secondaires: 15
• standardCapacityBase: 5
• standardCapacityPercentAboveBase 30%

Résultat :

• Non préemptible: 8 = 5 (standardCapacityBase) + 3 (30% des 10 restants)
• Emplacement: 7 (70% des 10 restants)
• Total = 15

Créer un cluster avec un mélange de nœuds de calcul secondaires Spot et non préemptifs

Vous pouvez utiliser gcloud CLI ou l'API Dataproc pour combiner des nœuds de calcul ponctuels et des nœuds de calcul secondaires non préemptifs lorsque vous créez un cluster.

gcloud dataproc clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --secondary-worker-type=spot \
    --num-secondary-workers=NUMBER_SECONDARY_WORKERS \
    --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \
    --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \
    OTHER_FLAGS_AS_NEEDED

{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 15,
      "preemptibility": "spot",
      "instanceFlexibilityPolicy": {
        "provisioningModelMix": {
          "standardCapacityBase": STANDARD_CAPACITY_BASE
          "standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE
        }
      }
    }
  }
}

Combiner le mélange de nœuds de calcul secondaires avec des VM flexibles

Vous pouvez combiner des nœuds de calcul secondaires Spot et non préemptifs et spécifier des formes de VM flexibles pour les nœuds de calcul secondaires lorsque vous créez un cluster.

Exemple de gcloud CLI:

gcloud dataproc clusters create cluster-name \
    --project=project-id \
    --region=us-cdbtral1 \
    --secondary-worker-type=spot \
    --num-secondary-workers=15 \
    --secondary-worker-standard-capacity-base=5 \
    --secondary-worker-standard-capacity-percent-above-base=30 \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"
    ...other flags as needed

Caractéristiques de mélange des nœuds de calcul secondaires

Cette section décrit certains des comportements et des caractéristiques associés au mélange de tâches ponctuelles et de nœuds de calcul secondaires non préemptifs.

Préférence pour les nœuds de calcul secondaires

Dataproc ne donne pas la priorité aux VM Spot ni aux VM non préemptives lors de la planification d'applications sur des nœuds de calcul secondaires.

Échelle des nœuds de calcul secondaires

Lorsque les nœuds de calcul secondaires sont mis à l'échelle via l'autoscaling ou le scaling manuel, Dataproc maintient le ratio de nœuds de calcul ponctuels à nœuds de calcul non préemptifs demandé lorsqu'il ajoute ou supprime des nœuds de calcul secondaires.

Mettre à jour les paramètres de répartition des nœuds de calcul secondaires

Vous spécifiez la combinaison de nœuds de calcul secondaires ponctuels et non préemptifs lorsque vous créez un cluster Dataproc. Vous ne pouvez pas modifier les paramètres de répartition des nœuds secondaires après avoir créé le cluster.

Préemption des nœuds de calcul secondaires Spot

• Dataproc ne contrôle pas le moment de la préemption des VM Spot (voir la section Préemption des VM Spot).
• Lorsqu'une préemption Spot se produit, le groupe de nœuds de calcul secondaire peut s'exécuter temporairement avec une capacité réduite jusqu'à ce que Compute Engine réprovisionne les VM préemptées.
• Dataproc n'ajoute pas de capacité à un groupe de nœuds de calcul secondaire au-delà des paramètres initiaux du groupe.