Configurare un servizio Dataproc Metastore su più regioni

Console

1. Nella console Google Cloud , vai alla pagina Dataproc Metastore.

   Vai a Dataproc Metastore

2. Nella barra di navigazione, fai clic su + Crea.

   Si apre la finestra di dialogo Crea servizio Metastore.

3. Seleziona Dataproc Metastore 2.

4. Nella sezione Prezzi e capacità, seleziona Enterprise Plus - Due regioni.

5. Per Protocollo endpoint, seleziona gRPC.

6. Per creare e avviare il servizio, fai clic su Invia.

   Il nuovo servizio metastore viene visualizzato nella pagina Dataproc Metastore. Lo stato visualizzato è Creazione in corso finché il servizio non è pronto per essere utilizzato. Quando è pronto, lo stato cambia in Attivo. Il provisioning del servizio potrebbe richiedere alcuni minuti.

Interfaccia a riga di comando gcloud

Per creare un servizio multiregionale Dataproc Metastore, esegui il seguente comando gcloud metastore services create. Questo comando crea Dataproc Metastore versione 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Sostituisci quanto segue:

• SERVICE: il nome del servizio Dataproc Metastore.
• MULTI_REGION: la multiregione in cui stai creando il servizio Dataproc Metastore.
• INSTANCE_SIZE: le dimensioni dell'istanza del tuo Dataproc Metastore multiregionale. Ad esempio, small, medium o large. Se specifichi un valore per INSTANCE_SIZE, non specificare un valore per SCALING_FACTOR.
• SCALING_FACTOR: il fattore di scalabilità del servizio Dataproc Metastore. Ad esempio: 0.1. Se specifichi un valore per SCALING_FACTOR, non specificare un valore per INSTANCE_SIZE.

Console

1. Nella console Google Cloud , vai alla pagina Dataproc Metastore.

   Vai a Dataproc Metastore

2. Nella barra di navigazione, fai clic su + Crea.

   Si apre la finestra di dialogo Crea servizio Metastore.

3. Seleziona Dataproc Metastore 2.

4. Nella sezione Prezzi e capacità, seleziona Enterprise Plus - Due regioni.

   Per ulteriori informazioni, consulta piani tariffari e configurazioni di scalabilità.

5. Nel campo Nome servizio, inserisci un nome univoco per il servizio.

   Per informazioni sulle convenzioni di denominazione, vedi Convenzione di denominazione delle risorse.

6. Per Protocollo endpoint, seleziona Thrift.

7. Per Configurazione di rete, fornisci le subnet che formano la configurazione multiregionale scelta.

8. Per le opzioni di configurazione del servizio rimanenti, utilizza i valori predefiniti forniti.

9. Per creare e avviare il servizio, fai clic su Invia.

   Il nuovo servizio metastore viene visualizzato nella pagina Dataproc Metastore. Lo stato visualizzato è Creazione in corso finché il servizio non è pronto per essere utilizzato. Quando è pronto, lo stato cambia in Attivo. Il provisioning del servizio potrebbe richiedere alcuni minuti.

Interfaccia a riga di comando gcloud

Per creare un servizio multiregionale Dataproc Metastore, esegui il seguente comando gcloud metastore services create. Questo comando crea Dataproc Metastore versione 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

In alternativa, puoi archiviare le impostazioni di rete in un file, come mostrato nel comando seguente.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Sostituisci quanto segue:

• SERVICE: il nome del servizio Dataproc Metastore.
• MULTI_REGION: la multiregione in cui stai creando il servizio Dataproc Metastore.
• PROJECT_ID: l'ID progetto Google Cloud in cui stai creando il servizio Dataproc Metastore.
• SUBNET1,SUBNET2: un elenco di subnet che formano una configurazione multiregionale. Puoi utilizzare l'ID, l'URL completo o il nome relativo della subnet. Puoi specificare fino a sei subnet.
• LOCATION1,LOCATION2: un elenco di località che formano una configurazione multiregionale. Puoi utilizzare l'ID della posizione. Ad esempio, per una località a più regioni nam7, utilizzi us-central1 e us-east4.
• NETWORK_CONFIG_FROM_FILE: il percorso di un file YAML contenente la configurazione di rete.
• INSTANCE_SIZE: le dimensioni dell'istanza del tuo Dataproc Metastore multiregionale. Ad esempio, small, medium o large. Se specifichi un valore per INSTANCE_SIZE, non specificare un valore per SCALING_FACTOR.
• SCALING_FACTOR: il fattore di scalabilità del servizio Dataproc Metastore. Ad esempio: 0.1. Se specifichi un valore per SCALING_FACTOR, non specificare un valore per INSTANCE_SIZE.

REST

Per scoprire come creare un servizio Dataproc Metastore multiregionale, segui le istruzioni per creare un servizio utilizzando Google APIs Explorer.

Per configurare un servizio multiregionale, fornisci le seguenti informazioni negli oggetti Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Sostituisci quanto segue:

• PROJECT_ID: l' Google Cloud ID progetto del progetto che contiene il servizio Dataproc Metastore.
• LOCATION: la regione Google Cloud in cui si trova il servizio Dataproc Metastore.
• SUBNET1,SUBNET2: un elenco di subnet che formano una configurazione multiregionale. Puoi utilizzare l'ID, l'URL completo o il nome relativo della subnet. Puoi specificare fino a cinque subnet.
• SCALING_FACTOR: il fattore di scalabilità che vuoi utilizzare per il servizio.

Dataproc Metastore 3.1.2

1. Crea le seguenti variabili per il cluster Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster Dataproc.
   • PROJECT_ID: il progetto Google Cloud che contiene il cluster Dataproc. Assicurati che la subnet che stai utilizzando disponga delle autorizzazioni appropriate per accedere a questo progetto.
   • MULTI_REGION: la Google Cloud multiregione in cui vuoi creare il cluster Dataproc.
   • DATAPROC_IMAGE_VERSION: la versione dell'immagine Dataproc che utilizzi con il servizio Dataproc Metastore. Devi utilizzare una versione dell'immagine pari o superiore a 2.0.
   • PROJECT: il progetto che contiene il servizio Dataproc Metastore.
   • SERVICE_ID: l'ID servizio del tuo servizio Dataproc Metastore.

2. Per creare il cluster, esegui questo comando gcloud dataproc clusters create. --enable-kerberos è facoltativo. Includi questa opzione solo se utilizzi Kerberos con il tuo cluster.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. Crea le seguenti variabili per il servizio Dataproc Metastore:

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   Sostituisci quanto segue:

   • METASTORE_PROJECT: il Google Cloud progetto che contiene il servizio Dataproc Metastore.
   • METASTORE_ID: l'ID servizio del tuo servizio Dataproc Metastore.
   • MULTI_REGION: la località multiregionale che vuoi utilizzare per il servizio Dataproc Metastore.
   • SUBNET: una delle subnet che utilizzi per il servizio Dataproc Metastore. o qualsiasi subnet nella rete VPC principale delle subnet utilizzate per il servizio.

2. Crea le seguenti variabili per il cluster Dataproc:

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster Dataproc.
   • DATAPROC_PROJECT: il progetto Google Cloud che contiene il cluster Dataproc. Assicurati che la subnet che stai utilizzando disponga delle autorizzazioni appropriate per accedere a questo progetto.
   • DATAPROC_REGION: la Google Cloud regione in cui vuoi creare il cluster Dataproc.
   • HIVE_VERSION: la versione di Hive utilizzata dal servizio Dataproc Metastore.
   • IMAGE_VERSION: la versione dell'immagine Dataproc che utilizzi con il servizio Dataproc Metastore.
     • Per Hive Metastore versione 2.0, utilizza la versione dell'immagine 1.5.
     • Per Hive Metastore versione 3.1.2, utilizza la versione dell'immagine 2.0.

3. Recupera la directory del warehouse del servizio Dataproc Metastore e archiviala in una variabile.

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. Crea un cluster Dataproc configurato con un Dataproc Metastore multiregionale.

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh