Lorsque vous créez un cluster, les composants standards de l'écosystème Apache Hadoop sont automatiquement installés sur le cluster (consultez la section Listes des versions des images de cluster Dataproc). Vous pouvez installer des composants supplémentaires, appelés "composants facultatifs", sur le cluster lors de la création du cluster. L'ajout de composants facultatifs à un cluster est semblable à l'ajout de composants via l'utilisation d'actions d'initialisation, mais présente les avantages suivants :
- Démarrage accéléré du cluster
- Compatibilité testée avec des versions spécifiques de Dataproc
- Utilisation d'un paramètre de cluster au lieu d'un script d'action d'initialisation
Composants facultatifs disponibles
| Composant facultatif. | COMPONENT_NAME dans les commandes Google Cloud CLI et les requêtes API |
Version d'image | Phase de version |
|---|---|---|---|
| Docker | DOCKER | 1.5 et versions ultérieures | DG |
| Flink | FLINK | 1.5 et versions ultérieures | DG |
| HBase | HBase | 1.5 et versions ultérieures (non disponible dans la version 2.1 et ultérieures) |
Bêta |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 et versions ultérieures | DG |
| Hudi | Hudi | 1.5 et versions ultérieures | DG |
| Notebook Jupyter | JUPYTER | 1.3 et versions ultérieures | DG |
| Presto | PRESTO | 1.3 et versions ultérieures (non disponible dans la version 2.1 et ultérieures) |
DG |
| Ranger | RANGER | 1.3 et versions ultérieures | DG |
| Solr | SOLR | 1.3 et versions ultérieures | DG |
| Trino | TRINO | 2.1 et versions ultérieures | DG |
| Notebook Zeppelin | ZEPPELIN | 1.3 et versions ultérieures | DG |
| ZooKeeper | ZOOKEEPER | 1.0 et versions ultérieures | DG |
Ajouter des composants facultatifs
Commande Google Cloud CLI
Pour créer un cluster Dataproc et installer un ou plusieurs composants facultatifs sur le cluster, utilisez la commande gcloud beta dataproc clusters create cluster-name avec l'option --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags
API REST
Les composants facultatifs peuvent être spécifiés via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.Console
Dans la console Google Cloud, ouvrez la page Dataproc Créer un cluster. Le panneau "Configurer un cluster" est sélectionné. Sous "Composants facultatifs" dans la section "Composants", sélectionnez un ou plusieurs composants à installer sur votre cluster.