Beim Erstellen eines Clusters werden automatisch Komponenten des Apache Hadoop-Systems auf dem Cluster installiert. Weitere Informationen finden Sie unter Liste der Dataproc-Versionen. Sie können beim Erstellen des Clusters auch zusätzliche Komponenten, sogenannte „optionale Komponenten“, im Cluster installieren. Das Hinzufügen von optionalen Komponenten zu einem Cluster ist vergleichbar mit dem Hinzufügen von Komponenten mithilfe von Initialisierungsaktionen. Es gibt jedoch die folgenden Vorteile:
- Kürzere Cluster-Startzeiten.
- Getestete Kompatibilität mit bestimmten Dataproc-Versionen.
- Verwendung eines Clusterparameters statt eines Skripts mit Initialisierungsaktionen.
Verfügbare optionale Komponenten
| Optionale Komponente | COMPONENT_NAME in gcloud-Befehlen und API-Anfragen |
Image-Version | Releasestufe |
|---|---|---|---|
| Docker | DOCKER | 1.5 oder höher | GA |
| Flink | FLINK | 1.5 oder höher | AV |
| HBase | HBASE | 1.5 oder höher (nicht in 2.1 und höher verfügbar) |
Beta |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 oder höher | GA |
| Hudi | Hudi | 1.5 oder höher | GA |
| Jupyter-Notebook | JUPYTER | 1.3 oder höher | AV |
| Presto | PRESTO | 1.3 oder höher (nicht in 2.1 und höher verfügbar) |
GA |
| Ranger | RANGER | 1.3 oder höher | AV |
| Solr | SOLR | 1.3 oder höher | GA |
| Trino | TRINO | 2.1 oder höher | GA |
| Zeppelin-Notebook | ZEPPELIN | 1.3 oder höher | AV |
| Zookeeper | ZOOKEEPER | 1.0 oder höher | AV |
Optionale Komponenten hinzufügen
gcloud-Befehl
Verwenden Sie zum Erstellen eines Dataproc-Clusters und zur Installation einer oder mehrerer optionaler Komponenten im Cluster den Befehl gcloud beta dataproc clusters create cluster-name mit dem Flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags
REST API
Optionale Komponenten können über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.Console
Öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt. Wählen Sie im Abschnitt „Komponenten“ unter „Optionale Komponenten“ eine oder mehrere Komponenten aus, die auf Ihrem Cluster installiert werden sollen.