Automatische Zonenplatzierung in Dataproc

Wenn Sie einen Dataproc-Cluster erstellen, verwenden Clusterressourcen regionale Endpunkte auf Grundlage von Compute Engine-Zonen. Wenn Sie eine Region auswählen, können Sie eine Zone innerhalb dieser Region auswählen. Sie können auch die Zone auslassen, damit die Dataproc-Funktion zur automatischen Zonenplatzierung eine Zone in der von Ihnen ausgewählten Region auswählt. Sobald eine Zone ausgewählt ist, werden alle Knoten für diesen Cluster in dieser Zone bereitgestellt.

Auto Zone- und Ressourcenreservierungen

Bei Auto Zone wird die Erstellung eines Clusters in einer Zone mit Ressourcenreservierungen priorisiert. Das funktioniert so:

  • Wenn die angeforderten Clusterressourcen vollständig durch reservierte und, falls erforderlich, On-Demand-Ressourcen in einer Zone erfüllt werden können, werden die reservierten und On-Demand-Ressourcen von Auto Zone genutzt und der Cluster in dieser Zone erstellt.

  • Bei der Auto Zone werden Zonen für die Auswahl nach der Gesamtzahl der reservierten CPU-Kerne (vCPU) in einer Zone priorisiert.

    Beispiel:In einer Anfrage zum Erstellen eines Clusters werden 20 n2-standard-2 und 1 n2-standard-64 angegeben (40 + 64 vCPUs angefordert). Bei der Auto Zone werden die folgenden Zonen entsprechend der Gesamtzahl der in der Zone verfügbaren vCPU-Reservierungen priorisiert:

    1. Verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)zone-c
    2. zone-b verfügbare Reservierungen: 1 n2-standard-64 (64 vCPUs)

    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Angenommen, in jeder dieser Zonen sind zusätzliche On-Demand-vCPU und andere Ressourcen verfügbar, die für die Clusteranfrage ausreichen. In diesem Fall wählt Auto Zone zone-c für die Clustererstellung aus.

  • Wenn die angeforderten Clusterressourcen in einer Zone nicht vollständig durch reservierte und On-Demand-Ressourcen abgedeckt werden können, wird der Cluster in einer Zone erstellt, in der die Anfrage mit On-Demand-Ressourcen am wahrscheinlichsten erfüllt werden kann.

Automatische Zonenplatzierung verwenden

Console

So erstellen Sie einen Dataproc-Cluster mit automatischer Zonenplatzierung:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc-Cluster in Compute Engine erstellen. Der Bereich Cluster einrichten ist ausgewählt.
  2. Führen Sie im Bereich Standort folgende Schritte aus:
    • Wählen Sie eine Region für Ihren Cluster aus.
    • Wählen Sie unter Zone die Option „Beliebig“ aus.

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create, um einen Dataproc-Cluster mit automatischer Zonenplatzierung zu erstellen. Setzen Sie das --region-Flag auf eine Region und lassen Sie das --zone-Flag weg. Sie können das Flag auch leer lassen: --zone= oder zone="".

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

Gehen Sie zum Erstellen eines Dataproc-Clusters mit automatischer Zonenplatzierung so vor: Erstellen Sie die JSON API-Anfrage clusters.create und lassen Sie das Feld gceClusterConfig.zoneUri leer. Geben Sie im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters einen Regionsnamen ein. Die automatische Zonenplatzierung von Dataproc wählt eine Zone für den Cluster innerhalb der angegebenen Region aus.

Kurze Ressourcennamen mit Auto Zone verwenden: Wenn Sie in einer REST API-Anfrage zum Erstellen eines Clusters mit automatischer Zonenplatzierung einen Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri angeben, verwenden Sie einen kurzen Ressourcennamen ohne Zonenspezifikation, z. B. „n1-standard-2“ oder „nvidia-tesla-t4“.