Quando crei un cluster, i componenti dell'ecosistema Apache Hadoop standard vengono installati automaticamente sul cluster (consulta gli elenchi delle versioni delle immagini del cluster Dataproc). Puoi installare componenti aggiuntivi, chiamati "componenti facoltativi", sul cluster quando lo crei. L'aggiunta di componenti facoltativi a un cluster è simile all'aggiunta di componenti tramite l'utilizzo di azioni di inizializzazione, ma presenta i seguenti vantaggi:
- Tempi di avvio del cluster più rapidi
- Compatibilità testata con versioni specifiche di Dataproc
- Utilizzo di un parametro del cluster anziché di uno script di azioni di inizializzazione
Componenti facoltativi disponibili
| Componente facoltativo | COMPONENT_NAME nei comandi e nelle richieste API di Google Cloud CLI |
Versione immagine | Fase di rilascio |
|---|---|---|---|
| Docker | DOCKER | 1.5 e versioni successive | GA |
| Flink | FLINK | 1.5 e versioni successive | GA |
| HBase | HBASE | 1.5 e versioni successive (non disponibile in 2.1 e versioni successive) |
Beta |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 e versioni successive | GA |
| Hudi | Hudi | 1.5 e versioni successive | GA |
| Jupyter Notebook | JUPYTER | 1.3 e versioni successive | GA |
| Presto | PRESTO | 1.3 e versioni successive (non disponibile in 2.1 e versioni successive) |
GA |
| Ranger | RANGER | 1.3 e versioni successive | GA |
| Solr | SOLR | 1.3 e versioni successive | GA |
| Trino | TRINO | 2.1 e versioni successive | GA |
| Zeppelin Notebook | ZEPPELIN | 1.3 e versioni successive | GA |
| Zookeeper | ZOOKEEPER | 1.0 e versioni successive | GA |
Aggiungere componenti facoltativi
Comando della CLI Google Cloud
Per creare un cluster Dataproc e installare uno o più componenti facoltativi sul cluster, utilizza il comando gcloud beta dataproc clusters create cluster-name con il flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags
API REST
I componenti facoltativi possono essere specificati tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di una richiesta clusters.create.Console
Nella console Google Cloud, apri la pagina Dataproc Crea un cluster. Il riquadro Configura cluster è selezionato. Nella sezione Componenti facoltativi, seleziona uno o più componenti da installare sul cluster.