Flexible Dataproc-VMs

Console

So erstellen Sie einen Cluster mit flexiblen VMs für sekundäre Worker:

1. Öffnen Sie in der Google Cloud Console die Seite Cluster in der Compute Engine erstellen von Dataproc.

2. Der Bereich Cluster einrichten wird mit Feldern ausgewählt, die mit Standardwerten gefüllt sind. Sie können den vorgeschlagenen Namen und die Clusterregion ändern und weitere Änderungen vornehmen. Achten Sie darauf, dass Beliebig als Zone des Clusters ausgewählt ist, damit die automatische Zonenplatzierung in Dataproc die Zone mit der besten Verfügbarkeit der in Ihren flexiblen VM-Listen angegebenen VM-Typen auswählen kann.

3. Wählen Sie das Steuerfeld Knoten konfigurieren aus. Geben Sie im Bereich Sekundäre Workerknoten die Anzahl und die Abrufbarkeit der sekundären Worker an.

   • Klicken Sie für jeden Rang von sekundären Workern auf Sekundären Worker hinzufügen und geben Sie einen oder mehrere Maschinentypen an, die in den jeweiligen Rang aufgenommen werden sollen.

4. Nachdem Sie die Clusterdetails in den entsprechenden Bereichen bestätigt und angegeben haben, klicken Sie auf Erstellen.

gcloud

Verwenden Sie den Befehl gcloud dataproc clusters create, um mehrere secondary-worker-machine-types-Flags hinzuzufügen, um sortierte flexible VM-Listen für Dataproc-sekundäre Worker anzugeben. Der standardmäßige sekundäre Worker-Typ für flexible VMs ist „Spot“, ein auf Abruf verfügbarer Typ.

Im folgenden Beispiel für die gcloud CLI versucht Dataproc, zuerst sekundäre Worker mit n2-standard-8 VMs (Rang 0) bereitzustellen. Wenn keine n2-standard-8-Maschinen verfügbar sind, versucht Dataproc, sekundäre Worker mit e2-standard-8- oder t2d-standard-8-VMs (Rang 1) bereitzustellen.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-machine-type=n1-standard-8 \
    --worker-machine-type=n1-standard-8 \
    --num-workers=4 \
    --num-secondary-workers=4 \
    --secondary-worker-type=non-preemptible \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"

Hinweise:

• --zone="": Für die Funktion „Flexible VM“ ist die automatische Zonenplatzierung in Dataproc erforderlich, damit Dataproc die Zone auswählen kann, in der Ihre VM-Typen verfügbar sind. Wenn Sie dem Flag --zone einen leeren Wert („"") übergeben, wird jede Zonenauswahl überschrieben, die in Ihrem Standardgcloud config list angegeben ist.

• Dataproc generiert Komponenten-role-Eigenschaften basierend auf den Kernen und dem Arbeitsspeicher des Computers. Sie können diese systemgenerierten Properties mit dem Flag --properties überschreiben. Verwenden Sie dazu die folgende Syntax:

  --properties="ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY=VALUE"
  

  Nur die Rolle secondary_worker wird unterstützt.

  Im folgenden Beispiel wird mit dem Flag --properties die Anzahl der Kerne von e2-standard-8 Maschinen, die sekundären Worker-Knoten zugewiesen sind, von 8 auf 6 geändert:

  --properties="secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"
  

API

Verwenden Sie instanceFlexibilityPolicy.instanceSelectionList als Teil einer Dataproc API-Anfrage vom Typ clusters.create, um eine sortierte Liste von machineTypes für sekundäre Worker anzugeben.

Beispiel:

Im folgenden JSON-Snippet aus dem clusters.create Anfragetext einer Dataproc-Anfrage werden die Maschinentypen der sekundären Worker für Rang 0 und Rang 1 angegeben.

"config": {
  "secondaryWorkerConfig": {
    "instanceFlexibilityPolicy": {
      "instanceSelectionList": [
        {
          "machineTypes": [
            "n1-standard-4",
            "n2-standard-4"
          ],
          "rank": 0
        },
        {
          "machineTypes": [
            "e2-standard-4",
            "n2d-standard-4"
          ],
          "rank": 1
        }
      ]
    }
  }
}

Clustereigenschaften verwenden, um Komponentenrollen anzupassen:Dataproc generiert Komponenten-role-Eigenschaften basierend auf VM-Kernen und Arbeitsspeicher. Sie können diese systemgenerierten Properties überschreiben, indem Sie Ihrer clusters.create-Anfrage mit der folgenden key=value-Syntax SoftwareConfig.properties hinzufügen:

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY=VALUE

Nur die Rolle secondary_worker wird unterstützt.

Im folgenden Beispiel wird im Feld properties die Anzahl der Kerne geändert, die dem sekundären Workerknoten einer e2-standard-8-VM zugewiesen sind, von 8 auf 6:

"secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"