Atualizar um serviço do Dataproc Metastore

Nesta página, explicamos como atualizar um serviço do metastore do Dataproc.

É possível atualizar o serviço do metastore do Dataproc para mudar as configurações de configuração ou ativar/desativar recursos opcionais.

Antes de começar

Funções exigidas

Para receber a permissão necessária para atualizar um serviço do Dataproc Metastore, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto, com base no princípio de privilégio mínimo:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém a permissão metastore.services.update, que é necessária para atualizar um serviço do Dataproc Metastore.

Também é possível conseguir essa permissão com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do metastore do Dataproc, consulte Visão geral do IAM do metastore do Dataproc.

Sobre a atualização de um serviço

É possível atualizar os seguintes parâmetros do metastore do Dataproc.

  • Número da porta. Atualize o número da porta TCP da interface do Apache Thrift.
  • Nível de serviço. Alterne entre o nível de serviço Developer ou Enterprise. Esses níveis influenciam a capacidade do serviço.
  • Sincronização do Data Catalog. Ative ou desative o recurso de sincronização do Data Catalog.
  • Janela de manutenção. Mude a frequência da janela de manutenção, incluindo Dia da semana e Hora do dia.
  • Kerberos. Ative ou desative a autenticação do Kerberos. Se já estiver ativado, você pode atualizar os arquivos de configuração do Kerberos.
  • Configurações do metastore do Hive. Atualize o local do diretório do seu data warehouse do Hive.
  • Configuração da versão auxiliar (Visualização). Ative, desative ou adicione outras versões auxiliares.
  • Rótulos. Adicione ou remova rótulos opcionais que descrevem seus metadados.
  • Fator de escalonamento. Mude o fator de escalonamento. É possível ativar ou desativar o escalonamento automático e atualizar os fatores de escalonamento mínimo ou máximo.

Atualizar um serviço

Antes de executar uma atualização, observe as seguintes considerações:

  • É possível executar apenas um job de atualização por vez para cada serviço do metastore do Dataproc.
  • É possível atualizar vários parâmetros em um único job de atualização.
  • Você ainda pode usar o metastore do Dataproc enquanto ele estiver sendo atualizado.

Quando a atualização é bem-sucedida, o metastore do Dataproc entra automaticamente no estado ativo. Se a atualização falhar, o serviço do metastore do Dataproc vai reverter para o estado íntegro anterior.

As instruções a seguir mostram como atualizar um serviço do metastore do Dataproc.

Console

  1. No console do Google Cloud , abra a página Metastore do Dataproc:

    Abrir o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    A página de detalhes do serviço metastore do Dataproc

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Escolha os valores que você quer atualizar para seu serviço.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

CLI da gcloud

  1. Para atualizar um serviço, execute o seguinte comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Substitua:

    • SERVICE: o nome do seu serviço metastore do Dataproc.
    • LOCATION: a Google Cloud região em que o serviço Metastore do Dataproc está localizado.
    • PORT: opcional: a porta TCP da interface Thrift que você está usando com o serviço do metastore do Dataproc.
    • TIER: opcional: a capacidade do nível do seu serviço do metastore do Dataproc.
    • MAINTENANCE_WINDOW_DAY (opcional): o dia da semana em que a janela de serviço começa.
    • MAINTENANCE_WINDOW_HOUR: opcional: a hora do dia em que a janela de serviço começa.
    • KERBEROS_PRINCIPAL: opcional: um principal do Kerberos que existe na guia key e no KDC. Um principal típico é o formato "primary/instance@REALM", mas não há um formato exato.
    • KEYTAB: opcional: um arquivo keytab Kerberos usado para autenticar um principal de serviço com um centro de distribuição de chaves do Kerberos.
    • KRB5_CONFIG (opcional): o arquivo krb5.config especifica as informações de domínio do KDC e do Kerberos, que incluem locais de KDCs e padrões para os aplicativos real e Kerberos.
    • [KEY, ...]: opcional: as configurações do metastore do Hive que você quer atualizar. Se uma variável existir nesse campo, o valor dela será atualizado. Caso contrário, uma nova variável será criada. Se essa flag for definida, -clear-hive-metastore-configs também será definida automaticamente.
    • [KEY, ...]: opcional: as configurações do metastore do Hive que você quer remover.
    • [KEY=VALUE, ...]: opcional: os rótulos ou as configurações de par de chave-valor do metastore do Hive que você quer atualizar.
    • [KEY, ...]: opcional: os rótulos ou as configurações de par de chave-valor do metastore do Hive que você quer remover.

  2. Verifique se a atualização foi concluída.

REST

Siga as instruções da API para atualizar um serviço usando o APIs Explorer.

Atualizar a configuração do data warehouse do metastore do Hive

Se o diretório de armazenamento do Hive estiver no Cloud Storage, defina uma modificação da configuração do metastore. Essa substituição define seu data warehouse específico como o diretório de armazenamento padrão para o metastore do Dataproc.

Antes de definir essa substituição, verifique se o serviço Metastore do Dataproc tem permissões de leitura e gravação de objeto para acessar o diretório do armazenamento. Saiba mais em Diretório de armazenamento do Hive.

As instruções a seguir mostram como atualizar uma substituição de configuração do metastore do Hive.

Console

  1. No console do Google Cloud , abra a página Metastore do Dataproc:

    Abrir o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Em Substituições de configuração do metastore, insira o seguinte:

    • Chave: insira o seguinte valor: hive.metastore.warehouse.dir.
    • Valor: o local do Cloud Storage do diretório do seu data warehouse. Por exemplo: gs://my-bucket/path/to/location.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

gcloud

  1. Para atualizar um serviço, execute o seguinte comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Substitua:

    • SERVICE: o nome do seu serviço metastore do Dataproc.
    • LOCATION: a Google Cloud região em que o serviço Metastore do Dataproc está localizado.
    • CUSTOMER_DIR: o local do Cloud Storage do diretório do seu data warehouse. Por exemplo: gs://my-bucket/path/to/location

  2. Verifique se a atualização foi concluída.

A seguir