Quando você cria um cluster, os componentes padrão do ecossistema Apache Hadoop são instalados automaticamente. Para saber mais, consulte Listas de versões de imagens de cluster do Dataproc. Ao criar um cluster, é possível instalar componentes adicionais, chamados "componentes opcionais", nele. Adicionar componentes opcionais a um cluster é semelhante a usar ações de inicialização, mas com as seguintes vantagens:
- Mais velocidade nos tempos de inicialização do cluster
- Compatibilidade testada com versões específicas do Dataproc
- Uso de um parâmetro de cluster em vez de um script de ação de inicialização
Componentes opcionais disponíveis
| Componente opcional | COMPONENT_NAME em comandos do Google Cloud CLI e solicitações de API |
Versão de imagem | Etapa da versão |
|---|---|---|---|
| Docker | DOCKER | 1.5 ou superior | GA |
| Flink | FLINK | 1.5 ou superior | GA |
| HBase | HBASE | 1.5 ou mais recente (não disponível na versão 2.1 e mais recentes) |
Beta |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 ou superior | GA |
| Hudi | Hudi | 1.5 ou superior | GA |
| Jupyter Notebook | JUPYTER | 1.3 ou superior | GA |
| Presto | PRESTO | 1.3 ou mais recente (não disponível na versão 2.1 e mais recentes) |
GA |
| Ranger | RANGER | 1.3 ou superior | GA |
| Solr | SOLR | 1.3 ou superior | GA |
| Trino | TRINO | 2.1 e mais recentes | GA |
| Zeppelin Notebook | ZEPPELIN | 1.3 ou superior | GA |
| Zookeeper | ZOOKEEPER | 1.0 ou superior | GA |
Adicionar componentes opcionais
Comando da CLI do Google Cloud
Para criar um cluster do Dataproc e instalar um ou mais
componentes opcionais no cluster, use o comando
gcloud beta dataproc clusters create cluster-name
com a sinalização --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags
API REST
Especifique componentes opcionais por meio da API do Dataproc usando o SoftwareConfig.Component como parte de uma solicitação clusters.create.Console
No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado. Em "Componentes opcionais", na seção "Componentes", selecione um ou mais componentes para instalar no cluster.