Flexible Dataproc-VMs

Flexible VMs ist eine Dataproc-Funktion, mit der Sie priorisierte Listen von VM-Typen für sekundäre Dataproc-Worker angeben können, wenn Sie einen Dataproc-Cluster erstellen.

Vorteile von flexiblen VMs

Bisher ist eine Anfrage zum Erstellen eines Clusters fehlgeschlagen, wenn ein VM-Typ nicht verfügbar war. Sie mussten dann Ihre Anfrage, Ihr Skript oder Ihren Code aktualisieren, um einen „nächstbesten“ VM-Typ anzugeben. Dieser Prozess kann mehrere Iterationen umfassen, bis Sie einen verfügbaren VM-Typ angegeben haben.

Die Funktion „Flexible VMs“ von Dataproc hilft Ihnen, Cluster zu erstellen, indem sekundäre Worker-VM-Typen aus Ihren sortierten VM-Listen ausgewählt und dann in der angegebenen Clusterregion nach Zonen mit Verfügbarkeit der aufgeführten VM-Typen gesucht wird.

Terminologie

• VM-Typ: Die Familie, die Speicherkapazität und die Anzahl der CPU-Kerne einer VM-Instanz. Dataproc unterstützt die Verwendung von vordefinierten und benutzerdefinierten VM-Typen.

• Sekundäre Worker: Sekundäre Worker speichern keine Daten. Sie funktionieren nur als Verarbeitungsknoten. Sie können sekundäre Worker verwenden, um die Computing-Skalierung zu skalieren, ohne den Speicher zu skalieren.

Einschränkungen und Überlegungen

• Flexible VMs sind in Dataproc in Compute Engine 2.0.74+, 2.1.22+ und späteren Image-Versionen von Dataproc in Compute Engine verfügbar.

• Sie können flexible VMs nur für sekundäre Worker angeben.

• Sie können bis zu fünf sortierte Listen mit VM-Typen angeben, wobei jede Liste bis zu zehn VM-Typen enthalten kann. Weitere Informationen finden Sie unter Flexible VMs anfordern.

• Zum Erstellen eines Clusters mit flexiblen VMs ist die Verwendung der automatischen Zonenplatzierung von Dataproc erforderlich. Dadurch kann Dataproc die Zone auswählen, die die Kapazität hat, Ihre VM-Typanforderungen zu erfüllen.

• Wenn Ihre Anfrage zum Erstellen eines Clusters eine Autoscaling-Richtlinie enthält, können flexible VMs aus verschiedenen VM-Familien stammen, müssen aber dieselbe Menge an Arbeitsspeicher und dieselbe Anzahl von Kernen haben.

• Beim Bereitstellen flexibler VMs nutzt Dataproc alle verfügbaren Reservierungen vom Typ „Beliebige passende“, aber keine Reservierungen vom Typ „Bestimmte“ (siehe Reservierte Instanzen nutzen). Maschinentypen, die mit Reservierungen übereinstimmen, werden zuerst innerhalb eines Rangs ausgewählt, gefolgt von VM-Typen mit der größten Anzahl an CPUs.

• Dataproc wendet Google Cloud Kontingente auf die flexible VM-Bereitstellung an.

• Sie können zwar unterschiedliche CPU-zu-Arbeitsspeicher-Verhältnisse für primäre und sekundäre Worker-V-Typen in einem Cluster angeben, dies kann jedoch zu Leistungseinbußen führen, da das kleinste CPU-zu-Arbeitsspeicher-Verhältnis als kleinste Containereinheit verwendet wird.

• Wenn Sie einen Cluster aktualisieren, der mit flexiblen VMs erstellt wurde, wählt Dataproc Worker aus den Listen flexibler VMs aus, die Sie beim Erstellen des Clusters angegeben haben, und fügt sie hinzu.

Flexible VMs anfordern

Sie können flexible VMs angeben, wenn Sie einen Dataproc-Cluster über die Google Cloud Console, die Google Cloud CLI oder die Dataproc API erstellen.

• Sie können bis zu fünf sortierte Listen mit VM-Typen angeben, wobei jede Liste bis zu zehn VM-Typen enthalten kann. Listen mit dem niedrigsten Rang haben die höchste Priorität. Standardmäßig haben flexible VM-Listen den Rang 0. In einer Liste priorisiert Dataproc VM-Typen mit nicht verwendeten Reservierungen, gefolgt von den größten VM-Größen. VM-Typen in einer Liste mit derselben Anzahl von CPUs werden gleich behandelt.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-machine-type=n1-standard-8 \
    --worker-machine-type=n1-standard-8 \
    --num-workers=4 \
    --num-secondary-workers=4 \
    --secondary-worker-type=non-preemptible \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"

"config": {
  "secondaryWorkerConfig": {
    "instanceFlexibilityPolicy": {
      "instanceSelectionList": [
        {
          "machineTypes": [
            "n1-standard-4",
            "n2-standard-4"
          ],
          "rank": 0
        },
        {
          "machineTypes": [
            "e2-standard-4",
            "n2d-standard-4"
          ],
          "rank": 1
        }
      ]
    }
  }
}

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY=VALUE

"secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"