Dataproc-Cluster haben die folgenden Arten von Komponenten:
Installierte Komponenten: Komponenten, die im Image installiert und bei der Clustererstellung aktiviert werden.
Optionale Komponenten: Komponenten, die Sie beim Erstellen des Clusters auswählen, um sie auf dem Cluster zu installieren und zu verwenden. Dataproc installiert und aktiviert optionale Komponenten je nach Cluster-Image-Version so:
2.2
und frühere Image-Versionen: Optionale Komponenten werden automatisch installiert. Ausgewählte optionale Komponenten werden bei der Clustererstellung aktiviert und nicht ausgewählte optionale Komponenten werden deinstalliert.Image-Versionen
2.3
und höher: Alle optionalen Komponenten werden bei der Clustererstellung installiert, mit Ausnahme der optionalen Komponenten „Jupyter“, „Iceberg“ und „Delta Lake“, die in Image-Versionen2.3
und höher vorinstalliert sind. Vorinstallierte optionale Komponenten werden aus einem Cluster mit einer Image-Version ab2.3
entfernt, wenn sie beim Erstellen des Clusters nicht aktiviert sind. Weitere Informationen finden Sie unter Dataproc 2.3.x-Release-Versionen.
Komponenten für Initialisierungsaktionen: Komponenten, die im Rahmen einer Initialisierungsaktion auf einem Cluster installiert werden. Sie geben diese Aktion beim Erstellen eines Clusters an.
Optionale Komponenten werden in einem Cluster installiert, bevor Initialisierungsaktionen auf dem Cluster ausgeführt werden.
Auf den Seiten zu Dataproc-Image-Versionen werden die Komponenten und Komponententypen aufgeführt, die in den neuesten Dataproc-Image-Releases verfügbar sind.
Optionale Komponenten haben gegenüber Initialisierungsaktionen, die zum Installieren von Komponenten verwendet werden, die folgenden Vorteile:
- Optionale Komponenten werden auf Kompatibilität mit bestimmten Dataproc-Versionen getestet.
- Optionale Komponenten werden mit einem Parameter für die Clustererstellung aktiviert. Für Initialisierungsaktionen ist ein Skript erforderlich.
Verfügbare optionale Komponenten
Optionale Komponente | Komponentenname in Google Cloud CLI-Befehlen und API-Anfragen |
Image-Version | Releasestufe |
---|---|---|---|
Delta Lake | DELTA | 2.2.46 oder höher | GA |
Docker | DOCKER | 1.5 oder höher | GA |
Flink | FLINK | 1.5 oder höher | AV |
HBase | HBASE | 1.5 oder höher (nicht in 2.1 und höher verfügbar) |
Eingestellte Funktionen |
Hive WebHCat | HIVE_WEBHCAT | 1.3 oder höher | GA |
Hudi | HUDI | 1.5 oder höher | GA |
Iceberg | ICEBERG | 2.2 und höher | GA |
Jupyter-Notebook | JUPYTER | 1.3 oder höher | GA |
Pig | PIG | 1.5* oder höher | GA |
Presto | PRESTO | 1.3 oder höher (nicht in 2.1 und höher verfügbar) |
GA |
Ranger | RANGER | 1.3 oder höher | AV |
Solr | SOLR | 1.3 oder höher | GA |
Trino | TRINO | 2.1 oder höher | GA |
Zeppelin-Notebook | ZEPPELIN | 1.3 oder höher | AV |
Zookeeper | ZOOKEEPER | 1.0 oder höher | GA |
Hinweise:
- Apache Pig ist eine optionale Komponente in den Image-Versionen 2.3 und höher. Sie war in
2.2
und früheren Image-Versionen vorinstalliert.
Optionale Komponenten hinzufügen
Console
- Rufen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen auf.
Der Bereich Cluster einrichten ist ausgewählt.
- Wählen Sie im Abschnitt Komponenten unter Optionale Komponenten eine oder mehrere Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
Google Cloud CLI
Verwenden Sie zum Erstellen eines Dataproc-Clusters und zur Installation einer oder mehrerer optionaler Komponenten im Cluster den Befehl gcloud beta dataproc clusters create cluster-name
mit dem Flag --optional-components
.
gcloud dataproc clusters create CLUSTER_NAME \ --optional-components=COMPONENT-NAME(s) \ ... other flags
REST API
Optionale Komponenten können über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.