Configurare un servizio Dataproc Metastore su più regioni

Console

1. Nella console Google Cloud, vai alla pagina Dataproc Metastore.

   Vai a Dataproc Metastore

2. Nella barra di navigazione, fai clic su +Crea.

   Viene visualizzata la finestra di dialogo Crea servizio Metastore.

3. Seleziona Dataproc Metastore 2.

4. Nella sezione Prezzi e capacità, seleziona Enterprise Plus - Due regioni.

5. Per il Protocollo endpoint, seleziona gRPC.

6. Per creare e avviare il servizio, fai clic su Invia.

   Il nuovo servizio metastore viene visualizzato nella pagina Dataproc Metastore. Lo stato visualizzato è Creazione in corso finché il servizio non è pronto per essere utilizzato. Quando è tutto pronto, lo stato diventa Attivo. Il provisioning del servizio potrebbe richiedere alcuni minuti.

Interfaccia a riga di comando gcloud

Per creare un servizio Dataproc Metastore multiregionale, esegui il seguente comando gcloud metastore services create. Questo comando crea Dataproc Metastore versione 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Sostituisci quanto segue:

• SERVICE: il nome del servizio Dataproc Metastore.
• MULTI_REGION: la regione multipla in cui stai creando il servizio Dataproc Metastore.
• INSTANCE_SIZE: le dimensioni dell'istanza del tuo Dataproc Metastore su più regioni. Ad esempio, small, medium o large. Se specifichi un valore per INSTANCE_SIZE, non specificare un valore per SCALING_FACTOR.
• SCALING_FACTOR: il fattore di scalabilità del servizio Dataproc Metastore. Ad esempio: 0.1. Se specifichi un valore per SCALING_FACTOR, non specificare un valore per INSTANCE_SIZE.

Console

1. Nella console Google Cloud, vai alla pagina Dataproc Metastore.

   Vai a Dataproc Metastore

2. Nella barra di navigazione, fai clic su +Crea.

   Viene visualizzata la finestra di dialogo Crea servizio Metastore.

3. Seleziona Dataproc Metastore 2.

4. Nella sezione Prezzi e capacità, seleziona Enterprise Plus - Due regioni.

   Per ulteriori informazioni, consulta i piani tariffari e le configurazioni di scalabilità.

5. Nel campo Nome servizio, inserisci un nome univoco per il servizio.

   Per informazioni sulle convenzioni di denominazione, consulta Convenzione di denominazione delle risorse.

6. Per il Protocollo endpoint, seleziona Thrift.

7. In Configurazione di rete, fornisci le subnet che formano la configurazione multiregionale scelta.

8. Per le restanti opzioni di configurazione del servizio, utilizza i valori predefiniti forniti.

9. Per creare e avviare il servizio, fai clic su Invia.

   Il nuovo servizio metastore viene visualizzato nella pagina Dataproc Metastore. Lo stato visualizzato è Creazione in corso finché il servizio non è pronto per essere utilizzato. Quando è tutto pronto, lo stato diventa Attivo. Il provisioning del servizio potrebbe richiedere alcuni minuti.

Interfaccia a riga di comando gcloud

Per creare un servizio multiregionale Dataproc Metastore, esegui il seguente comando gcloud metastore services create. Questo comando crea Dataproc Metastore versione 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

In alternativa, puoi memorizzare le impostazioni di rete in un file, come mostrato nel seguente comando.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Sostituisci quanto segue:

• SERVICE: il nome del servizio Dataproc Metastore.
• MULTI_REGION: la regione multipla in cui stai creando il servizio Dataproc Metastore.
• PROJECT_ID: l'ID progetto Google Cloud in cui stai creando il servizio Dataproc Metastore.
• SUBNET1,SUBNET2: un elenco di reti sottostanti che formano una configurazione multiregionale. Puoi utilizzare l'ID, l'URL completo o il nome relativo della subnet. Puoi specificare fino a sei sottoreti.
• LOCATION1,LOCATION2: un elenco di località che formano una configurazione multiregionale. Puoi utilizzare l'ID della stazione di ricarica. Ad esempio, per una località a più regioni nam7, utilizza us-central1 e us-east4.
• NETWORK_CONFIG_FROM_FILE: il percorso di un file YAML contenente la configurazione di rete.
• INSTANCE_SIZE: le dimensioni dell'istanza del tuo Dataproc Metastore su più regioni. Ad esempio, small, medium o large. Se specifichi un valore per INSTANCE_SIZE, non specificare un valore per SCALING_FACTOR.
• SCALING_FACTOR: il fattore di scalabilità del servizio Dataproc Metastore. Ad esempio: 0.1. Se specifichi un valore per SCALING_FACTOR, non specificare un valore per INSTANCE_SIZE.

REST

Per scoprire come creare un servizio Dataproc Metastore multiregionale, segui le istruzioni per creare un servizio utilizzando Google APIs Explorer.

Per configurare un servizio multiregionale, fornisci le seguenti informazioni negli oggetti Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Sostituisci quanto segue:

• PROJECT_ID: l'ID progetto Google Cloud del progetto che contiene il servizio Dataproc Metastore.
• LOCATION: la regione Google Cloud in cui risiede il servizio Dataproc Metastore.
• SUBNET1,SUBNET2: un elenco di sottoreti che formano una configurazione multiregionale. Puoi utilizzare l'ID, l'URL completo o il nome relativo della subnet. Puoi specificare fino a cinque sottoreti.
• SCALING_FACTOR: il fattore di scalabilità che vuoi utilizzare per il servizio.

Dataproc Metastore 3.1.2

1. Crea le seguenti variabili per il cluster Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del tuo cluster Dataproc.
   • PROJECT_ID: il progetto Google Cloud che contiene il tuo cluster Dataproc. Assicurati che la sottorete in uso abbia le autorizzazioni appropriate per accedere a questo progetto.
   • MULTI_REGION: la regione multipla Google Cloud in cui vuoi creare il tuo cluster Dataproc.
   • DATAPROC_IMAGE_VERSION: la versione dell'immagine Dataproc che utilizzi con il servizio Dataproc Metastore. Devi utilizzare una versione dell'immagine pari o superiore a 2.0.
   • PROJECT: il progetto che contiene il servizio Dataproc Metastore.
   • SERVICE_ID: l'ID servizio del servizio Dataproc Metastore.

2. Per creare il cluster, esegui il seguente comando gcloud dataproc clusters create. Il valore --enable-kerberos è facoltativo. Includi questa opzione solo se utilizzi Kerberos con il tuo cluster.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. Crea le seguenti variabili per il servizio Dataproc Metastore:

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   Sostituisci quanto segue:

   • METASTORE_PROJECT: il progetto Google Cloud che contiene il servizio Dataproc Metastore.
   • METASTORE_ID: l'ID servizio del servizio Dataproc Metastore.
   • MULTI_REGION: la posizione multi-regione che vuoi utilizzare per il servizio Dataproc Metastore.
   • SUBNET: una delle sottoreti che utilizzi per il servizio Dataproc Metastore. In alternativa, qualsiasi subnet nella rete VPC principale delle subnet utilizzate per il servizio.

2. Crea le seguenti variabili per il cluster Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del tuo cluster Dataproc.
   • DATAPROC_PROJECT: il progetto Google Cloud che contiene il tuo cluster Dataproc. Assicurati che la sottorete in uso abbia le autorizzazioni appropriate per accedere a questo progetto.
   • DATAPROC_REGION: la regione Google Cloud in cui vuoi creare il tuo cluster Dataproc.
   • HIVE_VERSION: la versione di Hive utilizzata dal servizio Dataproc Metastore.
   • IMAGE_VERSION: la versione dell'immagine Dataproc che utilizzi con il servizio Dataproc Metastore.
     • Per Hive Metastore versione 2.0, utilizza la versione dell'immagine 1.5.
     • Per Hive Metastore versione 3.1.2, utilizza la versione dell'immagine 2.0.

3. Recupera la directory del magazzino del tuo servizio Dataproc Metastore e memorizzala in una variabile.

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. Crea un cluster Dataproc configurato con un Dataproc Metastore multiregionale.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh