Versões auxiliares

Nesta página, explicamos como usar o recurso de versões auxiliares com o metastore do Dataproc.

Com as versões auxiliares, é possível conectar duas versões diferentes de um metastore do Hive a um único serviço do metastore do Dataproc. Essa configuração permite oferecer suporte a vários mecanismos de processamento de dados que precisam ser executados em diferentes versões do metastore do Hive.

Por exemplo, usando versões auxiliares, é possível conectar vários clusters do Dataproc ao mesmo serviço do metastore do Dataproc. Nessa configuração, um cluster pode executar a versão 2.0 do Dataproc, enquanto o outro executa a versão 1.5. O cluster do Dataproc 2.0 pode se conectar a um endpoint que expõe o Hive versão 3.1.2, enquanto o cluster do Dataproc 1.5 se conecta a um endpoint que expõe o Hive versão 2.3.6.

Como as versões auxiliares funcionam

Quando você ativa as versões auxiliares, o metastore do Dataproc expõe um endpoint separado para cada versão do metastore do Hive. No entanto, os dois endpoints continuam compartilhando o mesmo banco de dados de metadados.

Com esse recurso, não é possível usar diferentes conjuntos de metadados com um único serviço do metastore do Dataproc. Em vez disso, ele oferece uma maneira de estender e melhorar a compatibilidade entre seus serviços.

Considerações

Geral

• Só é possível criar uma versão auxiliar para cada serviço do metastore do Dataproc.

• A versão auxiliar precisa ser configurada para usar uma versão do metastore do Hive inferior à versão principal.

• A versão auxiliar mantém um arquivo de registros separado da versão principal. Para depurar problemas do metastore do Hive, use o Cloud Logging.

Suporte a recursos

• A versão auxiliar não é compatível com os seguintes recursos:

  • Importar metadados, Exportar metadados

  • Fazer backup de um metastore, Restaurar um metastore de um backup

    Os recursos relacionados a metadados (importação/exportação/backup/restauração) só podem ser usados com a versão principal, já que os metadados de back-end entre as duas versões são compartilhados.

• Alguns métodos do Hive podem não ser compatíveis entre a versão auxiliar e a primária. Essa compatibilidade depende das versões do Hive que você está usando para as versões principal e auxiliar e dos métodos compatíveis entre as versões do Hive.

• Nem todas as funções de uma instância principal do metastore do Dataproc são compatíveis com a versão auxiliar. Por exemplo, não é possível inserir registros em uma tabela transacional do Hive com um cliente do Hive 2 que interage com uma versão auxiliar 2.3.6. No entanto, essa operação é compatível com um cliente do Hive 3 que interage com a versão principal 3.1.2.

  Se um recurso em uma versão mais antiga do Hive for descontinuado em uma versão mais recente, a versão auxiliar mais antiga correspondente não vai oferecer suporte ao recurso descontinuado. Por exemplo, o Hive 2 é compatível com índices, mas uma versão auxiliar que executa o Hive 2.3.6 não será compatível com o índice se a versão principal executar o Hive 3.1.2.

• A criação de tabelas transacionais usando a versão auxiliar ou a inserção de dados em tabelas transacionais na versão auxiliar são impedidas.

Propriedades compartilhadas entre versões

Ao criar uma versão auxiliar, algumas propriedades são compartilhadas e permanecem comuns entre ela e a versão principal. Outras propriedades não são compartilhadas e são separadas entre as duas versões.

A tabela a seguir lista essas diferenças.

* As substituições de configuração do Hive permanecem separadas entre a versão auxiliar e a principal. No entanto, a versão auxiliar faz referência a uma lista mesclada das substituições (principal + auxiliar). Nesse caso, a configuração auxiliar tem precedência sobre a principal.

Antes de começar

• Ativar o metastore do Dataproc

Papéis necessários

Para receber a permissão necessária para criar um metastore do Dataproc que use versões auxiliares, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto, com base no princípio de privilégio mínimo:

• Conceder controle total dos recursos do metastore do Dataproc (roles/metastore.editor)
• Conceder acesso total a todos os recursos do metastore do Dataproc, incluindo a administração de políticas do IAM (roles/metastore.admin)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém a permissão metastore.services.create, que é necessária para criar um metastore do Dataproc que usa versões auxiliares.

Também é possível conseguir essa permissão com papéis personalizados ou outros papéis predefinidos.

Criar uma versão auxiliar para um novo serviço

O exemplo a seguir mostra uma versão abreviada das etapas para ativar versões auxiliares. Para instruções detalhadas sobre todo o processo, consulte Criar um metastore do Dataproc.

curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID

Atualizar uma versão auxiliar de um serviço

As instruções a seguir mostram como atualizar um serviço do metastore do Dataproc que usa versões auxiliares.

Ao executar uma operação de atualização, é possível concluir as seguintes tarefas:

• Adicione uma nova versão auxiliar.
• Exclui uma versão auxiliar.

• Adicione ou modifique substituições de uma versão auxiliar.

curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions

A seguir

• Criar um serviço
• Atualizar e excluir um serviço