Interaktive Sitzungen und Sitzungsvorlagen erstellen

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Console

So erstellen Sie eine Dataproc Serverless-Sitzung mit der Google Cloud -Console:

1. Rufen Sie in der Google Cloud Console die Seite Interaktive Sitzungen auf.

   Zu interaktiven Sitzungen

   1. Klicken Sie auf Erstellen.

2. Geben Sie auf der Seite Interaktive Sitzung hinzufügen (Vorabversion) die Konfigurationseinstellungen für die Sitzung ein oder bestätigen Sie sie. Wichtige Hinweise:

   • Name der interaktiven Sitzung:Erforderlich. Übernehmen Sie den Standardnamen oder geben Sie einen Sitzungsnamen an.
   • Region: Erforderlich. Akzeptieren Sie die Standardregion oder geben Sie eine verfügbare Region für die Sitzung an.
   • Laufzeitkonfiguration:Optional. Die auswählbaren Sitzungslaufzeiten entsprechen den verfügbaren Dataproc Serverless for Spark-Laufzeitversionen. Sie können ein benutzerdefiniertes Container-Image für die Sitzung angeben.
   • Properties (Eigenschaften): Optional. Klicken Sie für jede Property, die Sie für die Sitzung festlegen möchten, auf Element hinzufügen. Weitere Informationen finden Sie unter Spark-Properties.
   • Spark-UI (Vorabversion): Optional. Mit der Spark-Benutzeroberfläche können Sie Details zur Sitzungsausführung erfassen und überwachen.
   • Dienstkonto:Optional. Das Dienstkonto, das für die Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
   • Netzwerkkonfiguration:Erforderlich. Wählen Sie in der Sitzungsregion ein Subnetzwerk aus. Mit Dataproc Serverless wird der private Google-Zugriff (Private Google Access, PGA) für das Subnetz aktiviert. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Dataproc Serverless for Spark-Netzwerkkonfiguration.

3. Klicken Sie auf Senden, um die Sitzung zu erstellen.

gcloud

Mit der Taste gcloud beta dataproc sessions create command SESSION_NAME können Sie eine interaktive Dataproc Serverless-Sitzung erstellen.

gcloud gcloud beta dataproc sessions create SESSION_ID \
    --region=REGION \
    optional flags ...

Ersetzen oder fügen Sie Folgendes hinzu:

• SESSION_ID: erforderlich. Eine ID für die Sitzung.

• REGION: erforderlich. Eine verfügbare Region, in der sich die Sitzung befinden soll.

• --version: Optional. Eine unterstützte Spark-Laufzeitversion Wenn Sie mit diesem Flag keine Version angeben, wird die aktuelle Standardversion der Spark-Laufzeit verwendet.

• --container-image: Optional. Ein benutzerdefiniertes Container-Image, das für die Sitzung verwendet werden soll.

• --property: Optional. Eine oder mehrere kommagetrennte Spark-Properties für die Sitzung.

• --service-account: Optional. Das Dienstkonto, das für die Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• --subnet: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn Sie kein Subnetz angeben, verwendet Dataproc Serverless das default-Subnetz in der Sitzungsregion. Mit Dataproc Serverless wird der private Google-Zugriff (Private Google Access, PGA) für das Subnetz aktiviert. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Dataproc Serverless for Spark-Netzwerkkonfiguration.

REST

Mit der Dataproc API sessions.create können Sie eine interaktive Dataproc Serverless-Sitzung erstellen.

Hinweise:

• name: Erforderlich. Sitzungsname.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für Ihre Sitzung. Wenn Sie keine Version angeben, wird die aktuelle Standardversion verwendet.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image, das für die Sitzung verwendet werden soll.

• properties: Optional. Eine Zuordnung von Sitzungseigenschaftsnamen zu Werten. Weitere Informationen finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Das Dienstkonto, mit dem die Sitzung ausgeführt werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn keine Angabe erfolgt, verwendet Dataproc Serverless das Subnetz default in der Sitzungsregion. Mit Dataproc Serverless wird der private Google-Zugriff (Private Google Access, PGA) für das Subnetz aktiviert. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Dataproc Serverless for Spark-Netzwerkkonfiguration.

Console

So erstellen Sie eine Dataproc Serverless-Sitzungsvorlage mit der Google Cloud Console:

1. Rufen Sie in der Google Cloud Console die Seite Sitzungsvorlagen auf.

   Sitzungsvorlagen aufrufen

   1. Klicken Sie auf Erstellen.

2. Geben Sie auf der Seite Sitzungsvorlage erstellen die Konfigurationseinstellungen für die Vorlage ein oder bestätigen Sie sie. Wichtige Hinweise:

   • Vorlagenlaufzeit-ID:Erforderlich. Übernehmen Sie die Standard-ID (den Standardnamen) oder geben Sie einen Namen für die Vorlagenlaufzeit an.
   • Region: Erforderlich. Akzeptieren Sie die Standardregion oder geben Sie eine verfügbare Region für Vorlagensitzungen an.
   • Laufzeitversion:Optional. Die auswählbaren Sitzungslaufzeiten entsprechen den Laufzeitversionen von Dataproc Serverless für Spark.
   • Template configuration type (Vorlagenkonfigurationstyp): Erforderlich. Wählen Sie einen Typ aus. Wenn Sie Jupyter auswählen, geben Sie den Anzeigenamen an und wählen Sie den Jupyter-Kerneltyp aus. Weitere Informationen finden Sie unter Jupyter-Notebook in Dataproc Serverless starten.
   • Dienstkonto:Optional. Das Dienstkonto, das zum Ausführen von Sitzungen mit Vorlagen verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
   • Benutzerdefiniertes Container-Image:Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Vorlagensitzungen verwendet werden soll.
   • Properties (Eigenschaften): Optional. Klicken Sie für jede Property, die Sie für die Sitzungen mit Vorlagen festlegen möchten, auf Element hinzufügen. Weitere Informationen finden Sie unter Spark-Properties.
   • Netzwerkkonfiguration:Erforderlich. Wählen Sie in der Sitzungsregion ein Subnetzwerk aus. Mit Dataproc Serverless wird der private Google-Zugriff (Private Google Access, PGA) für das angegebene Subnetz aktiviert. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Dataproc Serverless for Spark-Netzwerkkonfiguration.

3. Klicken Sie auf Senden, um die Sitzungsvorlage zu erstellen.

gcloud

Sie können mit der gcloud CLI keine serverlose Dataproc-Sitzungsvorlage direkt erstellen. Sie können jedoch den Befehl gcloud beta dataproc session-templates import verwenden, um eine vorhandene Sitzungsvorlage zu importieren. Sie können die importierte Vorlage bearbeiten und dann mit dem Befehl gcloud beta dataproc session-templates export exportieren.

REST

Mit der Dataproc API sessionTemplates.create können Sie eine Dataproc Serverless-Sitzungsvorlage erstellen.

Hinweise:

• name: Erforderlich. Name der Sitzungsvorlage.

• version: Optional. Eine der unterstützten Spark-Laufzeitversionen für Ihre Sitzungen mit Vorlagen. Wenn Sie keine Version angeben, wird die Standardversion verwendet.

• containerImage: Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Vorlagensitzungen verwendet werden soll.

• properties: Optional. Eine Zuordnung von Sitzungseigenschaftsnamen zu Werten. Weitere Informationen finden Sie unter Spark-Attribute.

• serviceAccount: Optional. Ein Dienstkonto, mit dem Sie Ihre Sitzungen mit Vorlagen ausführen. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.

• subnetworkUri: Optional. Der Name eines Subnetzes in der Sitzungsregion. Wenn keine Angabe erfolgt, verwendet Dataproc Serverless das Subnetz default in der Sitzungsregion. Mit Dataproc Serverless wird der private Google-Zugriff (Private Google Access, PGA) für das Subnetz aktiviert. Informationen zu den Anforderungen an die Netzwerkverbindung finden Sie unter Dataproc Serverless for Spark-Netzwerkkonfiguration.