Interaktive Sitzungen und Sitzungsvorlagen erstellen

gcloud

Sie können das gcloud beta dataproc sessions create command SESSION_NAME verwenden, um eine interaktive Serverless for Apache Spark-Sitzung zu erstellen.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ersetzen oder fügen Sie Folgendes hinzu:

• SESSION_ID: erforderlich. Eine ID für die Sitzung.

• REGION: erforderlich. Eine verfügbare Region für Ihre Sitzung.

• --version: Optional. Eine unterstützte Spark-Laufzeitversion. Wenn Sie mit diesem Flag keine Version angeben, wird die aktuelle Standardversion der Spark-Laufzeit verwendet.

• --container-image: Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Sitzung verwendet werden soll.

• --property: Optional. Eine oder mehrere kommagetrennte Spark-Properties für Ihre Sitzung.

• --service-account: Optional. Das Dienstkonto, das für Ihre Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• --subnet: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Serverless for Apache Spark das default-Subnetz in der Sitzungsregion. Serverless für Apache Spark aktiviert privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Serverless for Apache Spark-Netzwerkkonfiguration.

REST

Sie können die Dataproc-API sessions.create verwenden, um eine interaktive Sitzung für Serverless for Apache Spark zu erstellen.

Hinweise:

• name: Erforderlich. Sitzungsname

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für Ihre Sitzung. Wenn Sie keine Version angeben, wird die aktuelle Standardversion verwendet.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Sitzung verwendet werden soll.

• properties: Optional. Eine Zuordnung von Sitzungsproperty-Namen zu Werten. Weitere Informationen finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Das Dienstkonto, das zum Ausführen der Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Serverless for Apache Spark das default-Subnetz in der Sitzungsregion. Serverless für Apache Spark aktiviert privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Serverless for Apache Spark-Netzwerkkonfiguration.

Console

So erstellen Sie eine Vorlage für Serverless for Apache Spark-Sitzungen mit der Google Cloud Console:

1. Rufen Sie in der Google Cloud Console die Seite Sitzungsvorlagen auf.

   Sitzungsvorlagen aufrufen

   1. Klicken Sie auf Erstellen.

2. Geben Sie auf der Seite Sitzungsvorlage erstellen die Konfigurationseinstellungen für die Vorlage ein oder bestätigen Sie sie. Wichtige Hinweise:

   • Vorlagenlaufzeit-ID:Erforderlich. Übernehmen Sie die Standard-ID (Name) oder geben Sie einen Namen für die Vorlagenlaufzeit an.
   • Region: Erforderlich. Übernehmen Sie die Standardregion oder geben Sie eine verfügbare Region für Vorlagensitzungen an.
   • Laufzeitversion:Optional. Die auswählbaren Sitzungslaufzeiten entsprechen den Laufzeitversionen von Serverless for Apache Spark.
     • Anforderung für BigQuery Studio-Notebooksitzungen:Wenn Sie eine Vorlage für Spark Connect-Sitzungen für BigQuery Studio-Notebooks erstellen, muss sie Spark-Laufzeitversion 2.3 oder höher verwenden.
   • Vorlagenkonfigurationstyp:Erforderlich. Wählen Sie einen Typ aus. Wenn Sie Jupyter auswählen, geben Sie den Anzeigenamen an und wählen Sie den Jupyter-Kerneltyp aus. Weitere Informationen finden Sie unter Jupyter-Notebook in Serverless for Apache Spark starten.
     • Anforderung für BigQuery Studio-Notebooksitzungen:In BigQuery Studio-Notebooksitzungen muss Spark Connect als Vorlagenkonfigurationstyp angegeben werden.
   • Dienstkonto:Optional. Das Dienstkonto, das zum Ausführen von Vorlagensitzungen verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
   • Benutzerdefiniertes Container-Image:Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Vorlagensitzungen verwendet werden soll.
   • Attribute:Optional. Klicken Sie für jede Eigenschaft, die Sie für Ihre Vorlagensitzungen festlegen möchten, auf Element hinzufügen. Weitere Informationen finden Sie unter Spark-Attribute.
   • Netzwerkkonfiguration: * Erforderlich. Wählen Sie ein Subnetzwerk in der Sitzungsregion aus. Serverless für Apache Spark aktiviert den privaten Google-Zugriff für das angegebene Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Serverless for Apache Spark-Netzwerkkonfiguration.

3. Klicken Sie auf Senden, um die Sitzungsvorlage zu erstellen.

gcloud

Sie können keine Serverless for Apache Spark-Sitzungsvorlage direkt mit der gcloud CLI erstellen. Sie können jedoch den Befehl gcloud beta dataproc session-templates import verwenden, um eine vorhandene Sitzungsvorlage zu importieren. Sie können die importierte Vorlage bearbeiten und dann mit dem Befehl gcloud beta dataproc session-templates export exportieren.

REST

Sie können die Dataproc-API sessionTemplates.create verwenden, um eine Vorlage für eine Serverless for Apache Spark-Sitzung zu erstellen.

Hinweise:

• name: Erforderlich. Name der Sitzungsvorlage.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für Ihre Vorlagensitzungen. Wenn Sie keine Version angeben, wird die Standardversion verwendet.

  • Anforderung für BigQuery Studio-Notebooksitzungen:Wenn Sie eine Vorlage für Spark Connect-Sitzungen für BigQuery Studio-Notebooks erstellen, muss sie Spark-Laufzeitversion 2.3 oder höher verwenden.

• sessionConfig: Geben Sie entweder jupyter_session oder spark_connect_session an. Wenn Sie jupyter_session angeben, müssen Sie auch JupyterConfig.display_name und JupyterConfig.kernel angeben. Weitere Informationen finden Sie unter Jupyter-Notebook in Serverless for Apache Spark starten.

  • Anforderung für BigQuery Studio-Notebooksitzungen:In BigQuery Studio-Notebooksitzungen muss Spark Connect als Vorlagenkonfigurationstyp angegeben werden.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image, das für Ihre auf Vorlagen basierenden Sitzungen verwendet werden soll.

• properties: Optional. Eine Zuordnung von Sitzungsproperty-Namen zu Werten. Weitere Informationen finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Ein Dienstkonto, das zum Ausführen der Vorlagensitzungen verwendet wird. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn nicht angegeben, verwendet Serverless for Apache Spark das default-Subnetz in der Sitzungsregion. Serverless für Apache Spark aktiviert privaten Google-Zugriff (Private Google Access, PGA) für das Subnetz. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Google Cloud Serverless for Apache Spark-Netzwerkkonfiguration.