Criar um serviço Metastore do Dataproc

Console

1. No console do Google Cloud , acesse a página Metastore do Dataproc.

   Acesse o Dataproc Metastore

2. Na barra de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço de metastore é aberta.

3. Selecione Dataproc Metastore 2.

4. Na seção Preços e capacidade, escolha um tamanho de instância.

   Para mais informações, consulte planos de preços e configurações de escalonamento.

5. No campo Nome do serviço, insira um nome exclusivo para o serviço.

   Para informações sobre convenções de nomenclatura, consulte Convenção de nomenclatura de recursos.

6. Selecione o Local dos dados.

   Para mais informações sobre como selecionar a região adequada, consulte Regiões e zonas disponíveis e Endpoint regional.

7. Para as outras opções de configuração do serviço, use os padrões fornecidos.

8. Para criar e iniciar o serviço, clique em Enviar.

   O novo serviço de metastore aparece na página Metastore do Dataproc. O status mostra Criando até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

CLI da gcloud

Para criar um serviço de metastore do Dataproc Metastore 2 usando os padrões fornecidos, execute o seguinte comando gcloud metastore services create:

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Substitua:

• SERVICE: o nome do novo serviço do Dataproc Metastore.

• LOCATION: a Google Cloud região em que você quer criar o metastore do Dataproc. Você também pode definir um local padrão.

  Para informações sobre convenções de nomenclatura, consulte Convenção de nomenclatura de recursos.

• INSTANCE_SIZE: o tamanho da instância do metastore multirregional do Dataproc. Por exemplo, small, medium ou large. Se você especificar um valor para INSTANCE_SIZE, não especifique um valor para SCALING_FACTOR.

• SCALING_FACTOR: o fator de escalonamento do serviço metastore do Dataproc. Por exemplo, 0.1. Se você especificar um valor para SCALING_FACTOR, não especifique um valor para INSTANCE_SIZE.

REST

Siga as instruções da API para criar um serviço usando o APIs Explorer.

Console

1. No console do Google Cloud , acesse a página Metastore do Dataproc.

   Acesse o Dataproc Metastore

2. Na barra de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço de metastore é aberta.

3. Selecione Dataproc Metastore 1.

4. No campo Nome do serviço, insira um nome exclusivo para o serviço.

   Para informações sobre convenções de nomenclatura, consulte Convenção de nomenclatura de recursos.

5. Selecione o Local dos dados.

   Para mais informações sobre como selecionar a região adequada, consulte Regiões e zonas disponíveis e Endpoint regional.

6. Para as outras opções de configuração do serviço, use os padrões fornecidos.

7. Para criar e iniciar o serviço, clique em Enviar.

   O novo serviço de metastore aparece na página Metastore do Dataproc. O status mostra Criando até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

CLI da gcloud

Para criar um serviço básico de metastore usando os padrões fornecidos, execute o seguinte comando gcloud metastore services create:

gcloud metastore services create SERVICE \
  --location=LOCATION

Substitua:

• SERVICE: o nome do novo serviço do Dataproc Metastore.

• LOCATION: a Google Cloud região em que você quer criar o metastore do Dataproc. Você também pode definir um local padrão.

  Para informações sobre convenções de nomenclatura, consulte Convenção de nomenclatura de recursos.

REST

Siga as instruções da API para criar um serviço usando o APIs Explorer.

Console

Primeiros passos

1. No console do Google Cloud , abra a página Metastore do Dataproc:

   Abrir o metastore do Dataproc

2. No menu de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço de metastore é aberta.

3. Selecione a versão do metastore que você quer usar: Metastore do Dataproc 1 ou Metastore do Dataproc 2.

   Informações do serviço

   

   1. (Opcional): para o Dataproc Metastore 2. Na seção Preços e capacidade, escolha um tamanho de instância.

      Para mais informações, consulte planos de preços e configurações de escalonamento.

   2. No campo Nome do serviço, insira um nome exclusivo para o serviço.

      Para informações sobre convenções de nomenclatura, consulte Convenção de nomenclatura de recursos.

   3. Selecione o Local dos dados.

      Para mais informações sobre como selecionar a região adequada, consulte Regiões e zonas disponíveis e Endpoint regional.

   4. Selecione a versão Metastore do Hive.

      Se esse valor não for modificado, seu serviço usará a versão mais recente compatível do Hive (atualmente a versão 3.1.2).

      Para mais informações sobre como selecionar a versão correta, consulte a política de versões.

   5. Selecione o Canal de lançamento.

      Se esse valor não for modificado, o metastore usará o valor Stable. Para mais informações, consulte Canal de lançamento.

   6. Insira a porta TCP.

      A porta TCP a que o endpoint Thrift se conecta. Se esse valor não for modificado, a porta número 9083 será usada. Se você mudar o endpoint para gRPC, esse valor vai mudar automaticamente para 443 e não poderá ser alterado.

   7. (Opcional) Para o Metastore do Dataproc 1: Selecione o Nível de serviço.

      O nível de serviço influencia a capacidade do serviço. Para mais informações, consulte Nível de serviço.

   Protocolo do endpoint

   • Opcional: escolha um protocolo de endpoint.

     A opção selecionada por padrão é Apache Thrift. Para mais informações sobre os diferentes endpoints, consulte Escolher o protocolo de endpoint.

   Configuração de rede

   1. Selecione uma configuração de rede.

      Por padrão, seu serviço é exposto em apenas uma rede VPC e usa a rede default. A rede default permite que seu serviço se conecte a outros serviços no mesmo projeto.

      Mude as configurações de rede do padrão para concluir as seguintes ações:

      • Conecte seu serviço do metastore do Dataproc a serviços do metastore do Dataproc em outros projetos.
      • Use o serviço do metastore do Dataproc com outros serviços do Google Cloud , como o cluster do Dataproc.

   2. Opcional: clique em Usar rede VPC compartilhada e insira o ID do projeto e o nome da rede VPC.

   3. Opcional: clique em Tornar os serviços acessíveis em várias sub-redes da VPC e selecione as sub-redes. É possível especificar até cinco sub-redes.

   4. Clique em Concluído.

   Integração de metadados

   • Opcional: ative a sincronização do Data Catalog.

     Para mais informações, consulte Sincronização do metastore do Dataproc para o Data Catalog.

   Janela de manutenção

   • Opcional: selecione o Dia da semana e a Hora do dia na janela de manutenção.

     Para mais informações, consulte Janelas de manutenção.

   Segurança

   1. Opcional: ative o Kerberos.

      1. Para ativar o Kerberos, clique no botão.
      2. Selecione ou insira o código do recurso secret.
      3. Use a versão do secret mais recente ou selecione uma mais antiga.

      4. Insira o principal do Kerberos.

         Esse é o principal alocado para este serviço do metastore do Dataproc.

      5. Navegue até o arquivo krb5 config.

   2. Opcional: escolha um tipo de criptografia.

      • A opção selecionada por padrão é Google-managed encryption key.

      • Para selecionar uma chave gerenciada pelo cliente, clique em Usar uma chave de criptografia gerenciada pelo cliente (CMEK).

        Para mais informações, consulte Como usar chaves de criptografia gerenciadas pelo cliente.

   Substituições de configuração do metastore

   • Opcional: para aplicar um mapeamento ao metastore do Hive, clique em + Add Overrides.

   Configuração da versão auxiliar

   • Opcional: para adicionar uma configuração de versão auxiliar, clique em Ativar.

     Para mais informações, consulte Versões auxiliares.

   Tipo de banco de dados

   • Opcional: escolha um tipo de banco de dados.

     Em Tipo de banco de dados, selecione MySQL ou Spanner. O MySQL é o tipo de banco de dados padrão.

     Para mais informações sobre como escolher um tipo de banco de dados específico, consulte Tipos de banco de dados.

   Marcadores

   • Opcional: para adicionar ou remover rótulos opcionais que descrevem seus metadados, clique em + Adicionar rótulos.

Iniciar o serviço

Para criar e iniciar o serviço, clique em Enviar.

O novo serviço de metastore aparece na página Metastore do Dataproc. O status mostra Criando até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

CLI da gcloud

1. Para criar um metastore, execute o seguinte comando gcloud metastore services create:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --instance-size=INSTANCE_SIZE \
     --scaling-factor=SCALING_FACTOR \
     --port=PORT \
     --tier=TIER \
     --endpoint-protocol=ENDPOINT_PROTOCOL \
     --database-type=DATABASE_TYPE \
     --hive-metastore-version=HIVE_METASTORE_VERSION \
     --data-catalog-sync=DATA_CATALOG_SYNC \
     --release-channel=RELEASE_CHANNEL \
     --hive-metastore-configs=METADATA_OVERRIDE \
     --labels=LABELS \
     --auxiliary-versions=AUXILIARY_VERSION \
     --network=NETWORK \
     --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
     --kerberos-principal=KERBEROS_PRINCIPAL \
     --krb5-config=KRB5_CONFIG \
     --keytab=CLOUD_SECRET \
     --encryption-kms-key=KMS_KEY

   Substitua:

   Configurações do serviço:

   • SERVICE: o nome do novo serviço do Dataproc Metastore.
   • LOCATION: a Google Cloud região em que você quer criar o metastore do Dataproc. Você também pode definir um local padrão.
   • PORT: opcional: a porta TCP usada pelo seu endpoint Thrift. Se não for definido, a porta 9083 será usada. Se você escolher usar um endpoint gRPC, o número da porta vai mudar automaticamente para 443.
   • TIER: opcional para o metastore do Dataproc 1: o nível de serviço do seu novo serviço. Se não for definido, o valor Developer será usado.
   • ENDPOINT_PROTOCOL: Opcional: escolha o protocolo de endpoint do seu serviço.
   • DATABASE_TYPE: Opcional: escolha o tipo de banco de dados para seu serviço. Para mais informações sobre como escolher um tipo de banco de dados específico, consulte Tipos de banco de dados.
   • DATA_CATALOG_SYNC: opcional: ative o recurso Sincronização do Data Catalog.
   • HIVE_METASTORE_VERSION: opcional. A versão do metastore do Hive que você quer usar com seu serviço. Por exemplo, 3.1.2. Se não for definido, a versão mais recente do Hive será usada.
   • RELEASE_CHANNEL: opcional: o canal de lançamento do serviço. Se não for definido, o valor Stable será usado.
   • METADATA_OVERRIDE: opcional: as configurações de substituição do metastore do Hive que você quer aplicar ao serviço. Use uma lista separada por vírgulas no seguinte formato: k1=v1,k2=v2,k3=v3.
   • LABELS: opcional: pares de chave-valor para adicionar metadados extras ao seu serviço. Use uma lista separada por vírgulas no seguinte formato: k1=v1,k2=v2,k3=v3. Dataproc Metastore
   • AUXILIARY_VERSION: opcional: ative versões auxiliares. Para mais informações, consulte Versões auxiliares.

   Configurações de escalonamento:

   • INSTANCE_SIZE: opcional para o metastore do Dataproc 2: o tamanho da instância do metastore multirregional do Dataproc. Por exemplo, small, medium ou large. Se você especificar um valor para INSTANCE_SIZE, não especifique um valor para SCALING_FACTOR.
   • SCALING_FACTOR: opcional para o Dataproc Metastore 2: o fator de escalonamento do seu serviço do Dataproc Metastore. Por exemplo, 0.1. Se você especificar um valor para SCALING_FACTOR, não especifique um valor para INSTANCE_SIZE.

   Configurações de rede:

   • NETWORK: o nome da rede VPC que você está conectando ao seu serviço. Se não for definido, o valor default será usado.

     Se você usar uma rede VPC que pertence a um projeto diferente do seu serviço, será necessário fornecer todo o nome de recurso relativo. Por exemplo, projects/HOST_PROJECT/global/networks/NETWORK_ID.

   • SUBNET1, SUBNET2: opcional: uma lista de sub-redes que podem acessar seu serviço. É possível usar o ID, o URL totalmente qualificado ou o nome relativo da sub-rede. É possível especificar até cinco sub-redes.

   Configurações do Kerberos:

   • KERBEROS_PRINCIPAL: opcional: um princípio Kerberos que existe na guia key e no KDC. Um princípio típico é o formato "primary/instance@REALM", mas não há um formato exato.
   • KRB5_CONFIG (opcional): o arquivo krb5.config especifica as informações de domínio do KDC e do Kerberos, que incluem locais de KDCs e padrões para os aplicativos real e Kerberos.
   • CLOUD_SECRET: opcional: o nome do recurso relativo de uma versão do secret do Secret Manager.
   • KMS_KEY (opcional): refere-se ao ID do recurso da chave.

2. Verifique se a criação foi bem-sucedida.

REST

Siga as instruções da API para criar um serviço usando o APIs Explorer.

Console

1. No console do Google Cloud , abra a página Metastore do Dataproc:

   Abrir o metastore do Dataproc

2. Na barra de navegação, clique em +Criar.

3. Em Substituições de configuração do metastore, insira os seguintes valores:

   • Chave: hive.metastore.warehouse.dir.
   • Valor: o local do Cloud Storage do diretório do seu data warehouse. Por exemplo, gs://my-bucket/path/to/location.

4. Configure as outras opções de serviço conforme necessário ou use os padrões fornecidos.

5. Clique em Enviar.

   Volte para a página Metastore do Dataproc e verifique se o serviço foi criado.

CLI da gcloud

1. Para criar um serviço do metastore do Dataproc com uma substituição do Hive, execute o seguinte comando gcloud metastore services create:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
   

   Substitua:

   • SERVICE: o nome do novo serviço do Dataproc Metastore.
   • LOCATION: a Google Cloud região em que você quer criar o metastore do Dataproc. Também é possível definir um local padrão.
   • CUSTOMER_DIR: o local do Cloud Storage do diretório do seu data warehouse. Por exemplo, gs://my-bucket/path/to/location.

2. Verifique se a criação foi bem-sucedida.

Console

1. No console do Google Cloud , acesse a página Metastore do Dataproc.

   Acessar o metastore do Dataproc

2. Na barra de navegação, clique em +Criar.

   A caixa de diálogo Criar serviço de metastore é aberta.

3. Selecione Dataproc Metastore 2.

4. Na seção Preços e capacidade, selecione Enterprise - região única.

5. Em Tamanho da instância, clique em Ativar escalonamento automático.

6. Em Tamanho da instância, use o controle deslizante para escolher um tamanho mínimo e máximo de instância.

7. Para criar e iniciar o serviço, clique em Enviar.

   O novo serviço de metastore aparece na página Metastore do Dataproc. O status mostra Criando até que o serviço esteja pronto para uso. Quando estiver pronto, o status vai mudar para Ativo. O provisionamento do serviço pode levar alguns minutos.

REST

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Substitua:

• MIN_INSTANCES Opcional: o número mínimo de instâncias a ser usado na configuração de escalonamento automático. Se esses valores não forem especificados, o valor padrão 0.1 será usado.
• MAX_INSTANCESOpcional: o número máximo de instâncias a serem usadas na configuração de escalonamento automático. Se esses valores não forem especificados, o valor padrão 6 será usado.