Quando você cria um cluster, os componentes padrão do ecossistema Apache Hadoop são instalados automaticamente. Para saber mais, consulte Listas de versões de imagens de cluster do Dataproc. Ao criar um cluster, é possível instalar componentes adicionais, chamados "componentes opcionais", nele. Adicionar componentes opcionais a um cluster é semelhante a usar ações de inicialização, mas com as seguintes vantagens:
- Mais velocidade nos tempos de inicialização do cluster
- Compatibilidade testada com versões específicas do Dataproc
- Uso de um parâmetro de cluster em vez de um script de ação de inicialização
Componentes opcionais disponíveis
| Componente opcional | COMPONENT_NAME em comandos do Google Cloud CLI e solicitações de API |
Versão de imagem | Etapa da versão |
|---|---|---|---|
| Delta Lake | DELTA | 2.2.46 e mais recentes | GA |
| Docker | DOCKER | 1.5 ou superior | GA |
| Flink | FLINK | 1.5 ou superior | GA |
| HBase | HBASE | 1.5 ou mais recente (não disponível na versão 2.1 e mais recentes) |
Beta |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 ou superior | GA |
| Hudi | Hudi | 1.5 ou superior | GA |
| Iceberg (em inglês) | Iceberg | 2.2 ou mais recente | GA |
| Jupyter Notebook | JUPYTER | 1.3 ou superior | GA |
| Presto | PRESTO | 1.3 ou mais recente (não disponível na versão 2.1 e mais recentes) |
GA |
| Ranger | RANGER | 1.3 ou superior | GA |
| Solr | SOLR | 1.3 ou superior | GA |
| Trino | TRINO | 2.1 ou mais recente | GA |
| Zeppelin Notebook | ZEPPELIN | 1.3 ou superior | GA |
| Zookeeper | ZOOKEEPER | 1.0 ou superior | GA |
Adicionar componentes opcionais
Console
- No console do Google Cloud, acesse a página Criar um cluster do Dataproc.
O painel Configurar cluster está selecionado.
- Na seção Componentes, em Componentes opcionais, selecione um ou mais componentes para instalar no cluster.
Google Cloud CLI
Para criar um cluster do Dataproc e instalar um ou mais
componentes opcionais no cluster, use o comando
gcloud beta dataproc clusters create cluster-name
com a sinalização --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags