Configurar um serviço multirregional do Dataproc Metastore

Console

1. No console do Google Cloud, acesse a página Metastore do Dataproc.

   Ir para Metastore do Dataproc

2. Na barra de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço do Metastore será aberta.

3. Selecione Metastore do Dataproc 2.

4. Na seção Pricing and Capacity, selecione Enterprise Plus - Dual region.

5. Em Protocolo do endpoint, selecione gRPC.

6. Para criar e iniciar o serviço, clique em Enviar.

   Seu novo serviço de metastore aparece no Metastore do Dataproc página. O status exibido será Creating até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

CLI da gcloud

Para criar um serviço multirregional do Dataproc Metastore, execute o seguinte comando gcloud metastore services create. Esse comando cria o Dataproc Metastore versão 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Substitua:

• SERVICE: o nome do serviço Metastore do Dataproc.
• MULTI_REGION: a multirregião que em que o serviço do Dataproc Metastore está sendo criado.
• INSTANCE_SIZE: o tamanho da instância do metastore multirregional do Dataproc. Por exemplo, small, medium ou large. Se você especificar um valor para INSTANCE_SIZE, não especifique especifique um valor para SCALING_FACTOR.
• SCALING_FACTOR: o fator de escalonamento do serviço Metastore do Dataproc. Por exemplo, 0.1. Se você especificar um valor para SCALING_FACTOR, não especifique um para INSTANCE_SIZE.

Console

1. No console do Google Cloud, acesse o Metastore do Dataproc página.

   Acesse o metastore do Dataproc

2. Na barra de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço do Metastore será aberta.

3. Selecione Dataproc Metastore 2.

4. Na seção Preço e capacidade, selecione Enterprise Plus - Dual region.

   Para mais informações, consulte planos de preços e configurações de escalonamento.

5. No campo Nome do serviço, insira um nome exclusivo para o serviço.

   Para informações sobre convenções de nomenclatura, consulte Convenção de nomenclatura de recursos.

6. Em Protocolo do endpoint, selecione Thrift.

7. Em Configuração de rede, forneça as sub-redes que formam a configuração multirregional escolhida.

8. Para as demais opções de configuração de serviço, use os padrões fornecidos.

9. Para criar e iniciar o serviço, clique em Enviar.

   Seu novo serviço de metastore aparece no Metastore do Dataproc página. O status exibido será Creating até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

CLI da gcloud

Para criar um serviço multirregional do Dataproc Metastore, execute o comando gcloud metastore services create a seguir. Esse comando cria o Dataproc Metastore versão 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Ou você pode armazenar suas configurações de rede em um arquivo, como mostrado no comando a seguir.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Substitua:

• SERVICE: o nome do serviço Metastore do Dataproc.
• MULTI_REGION: a multirregião que em que o serviço do Dataproc Metastore está sendo criado.
• PROJECT_ID: o ID do projeto do Google Cloud que em que o serviço do Dataproc Metastore está sendo criado.
• SUBNET1,SUBNET2: uma lista de sub-redes que formam uma configuração multirregional. Você pode usar o ID, URL totalmente qualificado ou nome relativo da sub-rede. Você pode especificar até seis sub-redes.
• LOCATION1,LOCATION2: uma lista de locais que formam uma configuração multirregional. É possível usar o ID do local. Por exemplo, para uma multirregião nam7, use us-central1 e us-east4.
• NETWORK_CONFIG_FROM_FILE: o caminho para um Arquivo YAML que contém a configuração de rede.
• INSTANCE_SIZE: o tamanho da instância. do seu metastore multirregional do Dataproc. Por exemplo, small, medium ou large. Se você especificar um valor para INSTANCE_SIZE, não especifique especifique um valor para SCALING_FACTOR.
• SCALING_FACTOR: o fator de escalonamento do serviço Metastore do Dataproc. Por exemplo, 0.1. Se você especificar um valor para SCALING_FACTOR, não especifique um para INSTANCE_SIZE.

REST

Para saber como criar um metastore do Dataproc multirregional serviço, siga as instruções para criar um serviço usando o APIs Explorer do Google.

Para configurar um serviço multirregional, forneça as seguintes informações nos objetos Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Substitua:

• PROJECT_ID: o ID do projeto do Google Cloud. do projeto que contém o serviço Metastore do Dataproc.
• LOCATION: a região do Google Cloud em que o serviço do Dataproc Metastore está localizado.
• SUBNET1,SUBNET2: uma lista de sub-redes que formam uma configuração multirregional. Você pode usar o ID, URL totalmente qualificado ou nome relativo da sub-rede. Você pode especificar até cinco sub-redes.
• SCALING_FACTOR: o fator de escalonamento que você quer usar no serviço.

Metastore do Dataproc 3.1.2

1. Crie as seguintes variáveis para seu cluster do Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   Substitua:

   • CLUSTER_NAME: o nome do Dataproc. aglomerado.
   • PROJECT_ID: o projeto do Google Cloud que que contém o cluster do Dataproc. Verifique se a sub-rede que está usando tem as permissões apropriadas para acessar este projeto.
   • MULTI_REGION: a multirregião do Google Cloud que em que você quer criar o cluster do Dataproc.
   • DATAPROC_IMAGE_VERSION: a imagem do Dataproc a versão que você está usando com o metastore do Dataproc serviço. Use uma versão de imagem de 2.0 ou mais recente.
   • PROJECT: o projeto que contém o serviço Metastore do Dataproc.
   • SERVICE_ID: o ID do serviço do serviço Metastore do Dataproc.

2. Para criar o cluster, execute o comando gcloud dataproc clusters create a seguir. --enable-kerberos é opcional. Inclua essa opção somente se você estiver usando kerberos com o cluster.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Metastore do Dataproc 2.3.6

1. Crie as seguintes variáveis para seu metastore do Dataproc serviço:

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   Substitua:

   • METASTORE_PROJECT: o projeto do Google Cloud que contém o serviço do metastore do Dataproc.
   • METASTORE_ID: o ID do serviço do serviço Metastore do Dataproc.
   • MULTI_REGION: o local multirregional que você quer usar para o serviço de metastore do Dataproc.
   • SUBNET: uma das sub-redes que você está usando. do serviço Metastore do Dataproc. Ou qualquer sub-rede na rede VPC mãe das sub-redes usadas para o serviço.

2. Crie as seguintes variáveis para o cluster do Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   Substitua:

   • CLUSTER_NAME: o nome do cluster do Dataproc.
   • DATAPROC_PROJECT: o projeto do Google Cloud que que contém o cluster do Dataproc. Verifique se a sub-rede que você está usando tem as permissões adequadas para acessar o projeto.
   • DATAPROC_REGION: a região do Google Cloud que em que você quer criar o cluster do Dataproc.
   • HIVE_VERSION: a versão do Hive que seu Usos do serviço Metastore do Dataproc.
   • IMAGE_VERSION: a imagem do Dataproc versão que você está usando com seu serviço Metastore do Dataproc.
     • Para o Hive Metastore versão 2.0, use a versão de imagem 1.5.
     • Para o Hive Metastore versão 3.1.2, use a versão de imagem 2.0.

3. Extraia o diretório de armazenamento do serviço Metastore do Dataproc e armazene-o em uma variável.

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. Crie um cluster do Dataproc configurado com uma Metastore do Dataproc multirregional.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh