Dataproc-Komponenten

Dataproc-Cluster haben die folgenden Arten von Komponenten:

  • Installierte Komponenten: Komponenten, die im Image installiert und bei der Clustererstellung aktiviert werden.

  • Optionale Komponenten: Komponenten, die Sie beim Erstellen des Clusters auswählen, um sie auf dem Cluster zu installieren und zu verwenden. Dataproc installiert und aktiviert optionale Komponenten je nach Cluster-Image-Version so:

    • 2.2 und frühere Image-Versionen: Optionale Komponenten werden automatisch installiert. Ausgewählte optionale Komponenten werden bei der Clustererstellung aktiviert und nicht ausgewählte optionale Komponenten werden deinstalliert.

    • Image-Versionen 2.3 und höher: Alle optionalen Komponenten werden bei der Clustererstellung installiert, mit Ausnahme der optionalen Komponenten „Jupyter“, „Iceberg“ und „Delta Lake“, die in Image-Versionen 2.3 und höher vorinstalliert sind. Vorinstallierte optionale Komponenten werden aus einem Cluster mit einer Image-Version ab 2.3 entfernt, wenn sie beim Erstellen des Clusters nicht aktiviert sind. Weitere Informationen finden Sie unter Dataproc 2.3.x-Release-Versionen.

  • Komponenten für Initialisierungsaktionen: Komponenten, die im Rahmen einer Initialisierungsaktion auf einem Cluster installiert werden. Sie geben diese Aktion beim Erstellen eines Clusters an.

Optionale Komponenten werden in einem Cluster installiert, bevor Initialisierungsaktionen auf dem Cluster ausgeführt werden.

Auf den Seiten zu Dataproc-Image-Versionen werden die Komponenten und Komponententypen aufgeführt, die in den neuesten Dataproc-Image-Releases verfügbar sind.

Optionale Komponenten haben gegenüber Initialisierungsaktionen, die zum Installieren von Komponenten verwendet werden, die folgenden Vorteile:

  • Optionale Komponenten werden auf Kompatibilität mit bestimmten Dataproc-Versionen getestet.
  • Optionale Komponenten werden mit einem Parameter für die Clustererstellung aktiviert. Für Initialisierungsaktionen ist ein Skript erforderlich.

Verfügbare optionale Komponenten

Optionale Komponente Komponentenname
in Google Cloud CLI-Befehlen und API-Anfragen		 Image-Version Releasestufe
Delta Lake DELTA 2.2.46 oder höher GA
Docker DOCKER 1.5 oder höher GA
Flink FLINK 1.5 oder höher AV
HBase HBASE 1.5 oder höher
(nicht in 2.1 und höher verfügbar) 		Eingestellte Funktionen
Hive WebHCat HIVE_WEBHCAT 1.3 oder höher GA
Hudi HUDI 1.5 oder höher GA
Iceberg ICEBERG 2.2 und höher GA
Jupyter-Notebook JUPYTER 1.3 oder höher GA
Pig PIG 1.5* oder höher GA
Presto PRESTO 1.3 oder höher
(nicht in 2.1 und höher verfügbar) 		GA
Ranger RANGER 1.3 oder höher AV
Solr SOLR 1.3 oder höher GA
Trino TRINO 2.1 oder höher GA
Zeppelin-Notebook ZEPPELIN 1.3 oder höher AV
Zookeeper ZOOKEEPER 1.0 oder höher GA

Hinweise:

  • Apache Pig ist eine optionale Komponente in den Image-Versionen 2.3 und höher. Sie war in 2.2 und früheren Image-Versionen vorinstalliert.

Optionale Komponenten hinzufügen

Console

  1. Rufen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen auf.

    Zur Seite „Cluster erstellen“

    Der Bereich Cluster einrichten ist ausgewählt.

  2. Wählen Sie im Abschnitt Komponenten unter Optionale Komponenten eine oder mehrere Komponenten aus, die auf Ihrem Cluster installiert werden sollen.

Google Cloud CLI

Verwenden Sie zum Erstellen eines Dataproc-Clusters und zur Installation einer oder mehrerer optionaler Komponenten im Cluster den Befehl gcloud beta dataproc clusters create cluster-name mit dem Flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Optionale Komponenten können über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.