Componenti Dataproc

I cluster Dataproc includono i seguenti tipi di componenti:

  • Componenti installati: componenti installati nell'immagine e attivati quando viene creato il cluster.

  • Componenti facoltativi: componenti che selezioni per installarli e utilizzarli sul tuo cluster quando lo crei. Dataproc installa e attiva i componenti facoltativi in base alla versione dell'immagine del cluster come segue:

    • 2.2 e versioni precedenti delle immagini: i componenti facoltativi vengono installati automaticamente. I componenti facoltativi selezionati vengono attivati e quelli facoltativi non selezionati vengono disinstallati al momento della creazione del cluster.

    • Versioni delle immagini 2.3 e successive: i componenti facoltativi vengono installati durante la creazione del cluster. Per ulteriori informazioni, consulta Versioni release di Dataproc 2.3.x.

  • Componenti dell'azione di inizializzazione: componenti installati su un cluster nell'ambito di un'azione di inizializzazione specificata durante la creazione di un cluster.

I componenti facoltativi vengono installati su un cluster prima che le azioni di inizializzazione vengano eseguite sul cluster.

Le pagine delle versioni delle immagini Dataproc elencano i componenti e i tipi di componenti disponibili nelle ultime release delle immagini Dataproc.

I componenti facoltativi presentano i seguenti vantaggi rispetto alle azioni di inizializzazione impiegate per installare i componenti:

  • I componenti facoltativi sono testati come compatibili con versioni specifiche di Dataproc.
  • I componenti facoltativi vengono attivati con un parametro di creazione del cluster. Le azioni di inizializzazione richiedono uno script.

Componenti facoltativi disponibili

Componente facoltativo Nome del componente
nei comandi e nelle richieste API di Google Cloud CLI		 Versione immagine Fase di rilascio
Delta Lake DELTA 2.2.46 e versioni successive GA
Docker DOCKER 1.5 e versioni successive GA
Flink FLINK 1.5 e versioni successive GA
HBase HBASE 1.5 e versioni successive
(non disponibile in 2.1 e versioni successive) 		Deprecato
Hive WebHCat HIVE_WEBHCAT 1.3 e versioni successive GA
Hudi HUDI 1.5 e versioni successive GA
Iceberg ICEBERG 2.2 e versioni successive GA
Jupyter Notebook JUPYTER 1.3 e versioni successive GA
Maiale PIG 1.5* e versioni successive GA
Presto PRESTO 1.3 e versioni successive
(non disponibile in 2.1 e versioni successive) 		GA
Ranger RANGER 1.3 e versioni successive GA
Solr SOLR 1.3 e versioni successive GA
Trino TRINO 2.1 e versioni successive GA
Zeppelin Notebook ZEPPELIN 1.3 e versioni successive GA
Zookeeper ZOOKEEPER 1.0 e versioni successive GA

Note:

  • Apache Pig è un componente facoltativo nelle versioni delle immagini 2.3 e successive. Era preinstallato nelle versioni delle immagini 2.2 e precedenti.

Aggiungere componenti facoltativi

Console

  1. Nella Google Cloud console, vai alla pagina Dataproc Crea un cluster.

    Vai a Crea un cluster

    Il riquadro Configura cluster è selezionato.

  2. Nella sezione Componenti, in Componenti facoltativi, seleziona uno o più componenti da installare sul cluster.

Google Cloud CLI

Per creare un cluster Dataproc e installare uno o più componenti facoltativi sul cluster, utilizza il comando gcloud beta dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

I componenti facoltativi possono essere specificati tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di una richiesta clusters.create.