Configurar um serviço Metastore do Dataproc multirregional

Console

1. No console do Google Cloud , acesse a página Metastore do Dataproc.

   Acesse o Dataproc Metastore

2. Na barra de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço de metastore é aberta.

3. Selecione Dataproc Metastore 2.

4. Na seção Preços e capacidade, selecione Enterprise Plus - birregional.

5. Em Protocolo do endpoint, selecione gRPC.

6. Para criar e iniciar o serviço, clique em Enviar.

   O novo serviço de metastore aparece na página Metastore do Dataproc. O status mostra Criando até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

CLI da gcloud

Para criar um serviço multirregional do Dataproc Metastore, execute o seguinte comando gcloud metastore services create. Esse comando cria a versão 3.1.2 do metastore do Dataproc.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Substitua:

• SERVICE: o nome do seu serviço metastore do Dataproc.
• MULTI_REGION: a multirregião em que você está criando o serviço do metastore do Dataproc.
• INSTANCE_SIZE: o tamanho da instância do metastore multirregional do Dataproc. Por exemplo, small, medium ou large. Se você especificar um valor para INSTANCE_SIZE, não especifique um valor para SCALING_FACTOR.
• SCALING_FACTOR: o fator de escalonamento do serviço metastore do Dataproc. Por exemplo, 0.1. Se você especificar um valor para SCALING_FACTOR, não especifique um valor para INSTANCE_SIZE.

Console

1. No console do Google Cloud , acesse a página Metastore do Dataproc.

   Acesse o Dataproc Metastore

2. Na barra de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço de metastore é aberta.

3. Selecione Dataproc Metastore 2.

4. Na seção Preços e capacidade, selecione Enterprise Plus: birregional.

   Para mais informações, consulte planos de preços e configurações de escalonamento.

5. No campo Nome do serviço, insira um nome exclusivo para o serviço.

   Para informações sobre convenções de nomenclatura, consulte Convenção de nomenclatura de recursos.

6. Em Protocolo do endpoint, selecione Thrift.

7. Em Configuração de rede, forneça as sub-redes que formam a configuração multirregional escolhida.

8. Para as outras opções de configuração do serviço, use os padrões fornecidos.

9. Para criar e iniciar o serviço, clique em Enviar.

   O novo serviço de metastore aparece na página Metastore do Dataproc. O status mostra Criando até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

CLI da gcloud

Para criar um serviço multirregional do metastore do Dataproc, execute o seguinte comando gcloud metastore services create. Esse comando cria a versão 3.1.2 do metastore do Dataproc.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Ou você pode armazenar as configurações de rede em um arquivo, conforme mostrado no comando a seguir.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Substitua:

• SERVICE: o nome do seu serviço metastore do Dataproc.
• MULTI_REGION: a multirregião em que você está criando o serviço do metastore do Dataproc.
• PROJECT_ID: o ID do projeto Google Cloud em que você está criando o serviço do Dataproc Metastore.
• SUBNET1,SUBNET2: uma lista de sub-redes que formam uma configuração multirregional. É possível usar o ID, o URL totalmente qualificado ou o nome relativo da sub-rede. É possível especificar até seis sub-redes.
• LOCATION1,LOCATION2: uma lista de locais que formam uma configuração multirregional. É possível usar o ID do local. Por exemplo, para uma multirregião nam7, use us-central1 e us-east4.
• NETWORK_CONFIG_FROM_FILE: o caminho para um arquivo YAML que contém a configuração de rede.
• INSTANCE_SIZE: o tamanho da instância do metastore multirregional do Dataproc. Por exemplo, small, medium ou large. Se você especificar um valor para INSTANCE_SIZE, não especifique um valor para SCALING_FACTOR.
• SCALING_FACTOR: o fator de escalonamento do serviço metastore do Dataproc. Por exemplo, 0.1. Se você especificar um valor para SCALING_FACTOR, não especifique um valor para INSTANCE_SIZE.

REST

Para saber como criar um serviço multirregional do Dataproc Metastore, siga as instruções para criar um serviço usando o Google APIs Explorer.

Para configurar um serviço multirregional, forneça as seguintes informações nos objetos Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Substitua:

• PROJECT_ID: o Google Cloud ID do projeto que contém seu serviço do metastore do Dataproc.
• LOCATION: a Google Cloud região em que o serviço Dataproc Metastore está localizado.
• SUBNET1,SUBNET2: uma lista de sub-redes que formam uma configuração multirregional. É possível usar o ID, o URL totalmente qualificado ou o nome relativo da sub-rede. É possível especificar até cinco sub-redes.
• SCALING_FACTOR: o fator de escalonamento que você quer usar para o serviço.

Dataproc Metastore 3.1.2

1. Crie as seguintes variáveis para o cluster do Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   Substitua:

   • CLUSTER_NAME: o nome do cluster do Dataproc.
   • PROJECT_ID: o Google Cloud projeto que contém seu cluster do Dataproc. Verifique se a sub-rede que você está usando tem as permissões adequadas para acessar este projeto.
   • MULTI_REGION: a Google Cloud multirregião em que você quer criar o cluster do Dataproc.
   • DATAPROC_IMAGE_VERSION: a versão da imagem do Dataproc que você está usando com o serviço do metastore do Dataproc. Use uma versão de imagem 2.0 ou mais recente.
   • PROJECT: o projeto que contém seu serviço Dataproc Metastore.
   • SERVICE_ID: o ID do serviço do metastore do Dataproc.

2. Para criar o cluster, execute o seguinte comando gcloud dataproc clusters create: --enable-kerberos é opcional. Inclua essa opção somente se você estiver usando o Kerberos com seu cluster.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. Crie as seguintes variáveis para seu serviço do Dataproc Metastore:

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   Substitua:

   • METASTORE_PROJECT: o Google Cloud projeto que contém seu serviço do metastore do Dataproc.
   • METASTORE_ID: o ID do serviço do metastore do Dataproc.
   • MULTI_REGION: o local multirregional que você quer usar para o serviço do Dataproc Metastore.
   • SUBNET: uma das sub-redes que você está usando para o serviço Metastore do Dataproc. Ou qualquer sub-rede na rede VPC principal das sub-redes usadas para seu serviço.

2. Crie as seguintes variáveis para o cluster do Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   Substitua:

   • CLUSTER_NAME: o nome do cluster do Dataproc.
   • DATAPROC_PROJECT: o Google Cloud projeto que contém seu cluster do Dataproc. Verifique se a sub-rede que você está usando tem as permissões adequadas para acessar este projeto.
   • DATAPROC_REGION: a Google Cloud região em que você quer criar o cluster do Dataproc.
   • HIVE_VERSION: a versão do Hive usada pelo seu serviço Dataproc Metastore.
   • IMAGE_VERSION: a versão da imagem do Dataproc que você está usando com o serviço metastore do Dataproc.
     • Para a versão 2.0 do Hive Metastore, use a versão da imagem 1.5.
     • Para a versão 3.1.2 do Hive Metastore, use a versão de imagem 2.0.

3. Recupere o diretório de armazenamento do serviço Metastore do Dataproc e armazene-o em uma variável.

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. Crie um cluster do Dataproc configurado com um Dataproc Metastore multirregional.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh