Dataproc-Cluster mit der Google Cloud -Console erstellen

Auf dieser Seite erfahren Sie, wie Sie mit der Google Cloud Console einen Dataproc-Cluster erstellen, einen einfachen Apache Spark-Job im Cluster ausführen und dann die Anzahl der Worker im Cluster ändern.

Eine detaillierte Anleitung dazu finden Sie direkt in der Google Cloud Console. Klicken Sie dazu einfach auf Anleitung:

Anleitung

Hinweise

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Dataproc API.

    Enable the API

    8.

Cluster erstellen

  1. Rufen Sie in der Google Cloud -Konsole die Seite Dataproc-Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf Cluster erstellen.

  3. Klicken Sie im Dialogfeld Dataproc-Cluster erstellen in der Zeile Cluster in Compute Engine auf Erstellen.

  4. Geben Sie im Feld Clustername example-cluster ein.

  5. Wählen Sie in den Listen Region und Zone eine Region und eine Zone aus.

    Wählen Sie eine Region aus (z. B. us-east1 oder europe-west1), um Ressourcen wie VM-Instanzen (virtuelle Maschinen) und Cloud Storage- und Metadatenspeicherorte zu isolieren, die von Dataproc in der Region verwendet werden. Weitere Informationen finden Sie unter Verfügbare Regionen und Zonen und Regionale Endpunkte.

  6. Verwenden Sie für alle anderen Optionen die Standardeinstellungen.

  7. Klicken Sie auf Erstellen, um den Cluster zu erstellen.

    Der neue Cluster wird auf der Seite Cluster in einer Liste angezeigt. Der Status ist Wird bereitgestellt, bis der Cluster zur Verwendung bereit ist. Anschließend ändert sich der Status in Aktiv. Die Bereitstellung des Clusters kann einige Minuten dauern.

Spark-Job senden

Senden Sie einen Spark-Job, der einen Wert für Pi schätzt:

  1. Klicken Sie im Dataproc-Navigationsmenü auf Jobs.

  2. Klicken Sie auf der Seite Jobs auf  Job senden und gehen Sie dann so vor:

    1. Verwenden Sie im Feld Job-ID die Standardeinstellung oder geben Sie eine ID an, die für Ihr Google Cloud Projekt eindeutig ist.
    2. Wählen Sie im Drop-down-Menü Cluster die Option example-cluster aus.
    3. Wählen Sie als Jobtyp die Option Spark aus.
    4. Geben Sie im Feld Hauptklasse oder JAR-Datei org.apache.spark.examples.SparkPi ein.
    5. Geben Sie im Feld JAR-Dateien file:///usr/lib/spark/examples/jars/spark-examples.jar ein.

    6. Geben Sie im Feld Argumente den Wert 1000 ein, um die Anzahl der Aufgaben festzulegen.

    7. Klicken Sie auf Senden.

      Ihr Job wird auf der Seite Jobdetails angezeigt. Der Jobstatus ist Wird ausgeführt oder Wird gestartet und ändert sich nach dem Einreichen zu Erfolgreich.

      Wenn Sie das Scrollen in der Ausgabe vermeiden möchten, klicken Sie auf Zeilenumbruch: aus. Die Ausgabe sieht etwa so aus:

      Pi is roughly 3.1416759514167594

      Klicken Sie auf den Tab Konfiguration, um Jobdetails aufzurufen.

Cluster aktualisieren

So aktualisieren Sie Ihren Cluster, indem Sie die Anzahl der Worker-Instanzen ändern:

  1. Klicken Sie im Dataproc-Navigationsmenü auf Cluster.
  2. Klicken Sie in der Liste der Cluster auf example-cluster.

  3. Klicken Sie auf der Seite Clusterdetails auf den Tab Konfiguration.

    Die Clustereinstellungen werden angezeigt.

  4. Klicken Sie auf  Bearbeiten.

  5. Geben Sie im Feld Worker-Knoten den Wert 5 ein.

  6. Klicken Sie auf Speichern.

Der Cluster wurde aktualisiert. Verwenden Sie das gleiche Verfahren, um die Anzahl der Worker-Knoten auf den ursprünglichen Wert zu reduzieren.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

  1. Wenn Sie den Cluster löschen möchten, klicken Sie auf der Seite Clusterdetails für example-cluster auf Löschen.
  2. Klicken Sie auf Löschen, um zu bestätigen, dass Sie den Cluster löschen möchten.

Nächste Schritte