Collega un cluster Dataproc o un cluster autonomo

Dopo aver creato un servizio Dataproc Metastore, puoi collegare uno dei seguenti servizi:

• Un cluster Dataproc.
• Un'istanza Apache Hive autogestita, un'istanza Apache Spark o un cluster Presto.

Dopo aver connesso uno di questi servizi, utilizza il servizio Dataproc Metastore come metastore Hive durante l'esecuzione delle query.

Prima di iniziare

• Abilita Dataproc Metastore nel tuo progetto.
• Crea un servizio Dataproc Metastore.
• Comprendere i requisiti di networking specifici per il tuo progetto.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e un cluster Dataproc, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Per concedere il controllo completo delle risorse Dataproc Metastore, esegui una delle seguenti operazioni:
  • Editor Dataproc Metastore (roles/metastore.editor) sull'account utente o sul account di servizio
  • Dataproc Metastore Admin (roles/metastore.admin) sull'account utente o di servizio
• Per creare un cluster Dataproc: (roles/dataproc.worker) nell'account di servizio VM Dataproc
• Per concedere le autorizzazioni di lettura e scrittura alla directory del warehouse Hive: (roles/storage.objectAdmin) sul service account VM Dataproc

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un servizio Dataproc Metastore e un cluster Dataproc. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Cluster Dataproc

Dataproc è un servizio Apache Spark e Apache Hadoop gestito che ti consente di sfruttare gli strumenti per i dati open source per elaborazione batch, esecuzione di query, inserimento di flussi e machine learning.

Considerazioni

Prima di creare e collegare un cluster Dataproc, controlla quale protocollo endpoint utilizza il tuo servizio Dataproc Metastore. Questo protocollo definisce il modo in cui i client Hive Metastore accedono ai metadati archiviati in Dataproc Metastore. Questa scelta può influire anche sulle funzionalità che puoi integrare e utilizzare con il tuo servizio.

Crea un cluster e collega un metastore Dataproc

Le seguenti istruzioni mostrano come creare un cluster Dataproc e connetterti a quest'ultimo da un servizio Dataproc Metastore. Queste istruzioni presuppongono che tu abbia già creato un servizio Dataproc Metastore.

• Prima di creare il cluster Dataproc, assicurati che l'immagine Dataproc scelta sia compatibile con la versione del metastore Hive selezionata durante la creazione di Dataproc Metastore. Per saperne di più, consulta Elenco delle versioni immagine di Dataproc.

• Per ottimizzare la connettività di rete, crea il cluster Dataproc nella stessa regione del servizio Dataproc Metastore.

gcloud dataproc clusters create CLUSTER_NAME \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
    --region=LOCATION \
    --scopes=SCOPES

Collega un cluster utilizzando le proprietà del cluster Dataproc

Puoi anche collegare un cluster Dataproc a un Dataproc Metastore utilizzando le proprietà Dataproc. Queste proprietà includono ENDPOINT_URI e WAREHOUSE_DIR di Dataproc Metastore.

Segui queste istruzioni se il servizio Dataproc Metastore utilizza Private Service Connect o se vuoi collegare un cluster Dataproc alla versione ausiliaria del servizio Dataproc Metastore.

Esistono due modi per collegare un cluster Dataproc utilizzando le proprietà ENDPOINT_URI e WAREHOUSE_DIR:

Opzione 1: durante la creazione di un cluster Dataproc

Quando crei un cluster Dataproc, utilizza il flag delle proprietà con la seguente configurazione di Hive.

gcloud dataproc clusters create CLUSTER_NAME \
     --properties="hive:hive.metastore.uris=ENDPOINT_URI,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR/hive-warehouse"

Sostituisci quanto segue:

• CLUSTER_NAME: il nome del nuovo cluster Dataproc.
• ENDPOINT_URI: l'URI dell'endpoint del tuo servizio Dataproc Metastore.
• WAREHOUSE_DIR: la posizione della directory del warehouse Hive.

Opzione 2: aggiorna il file hive-site.xml

Puoi anche collegare un cluster Dataproc modificando direttamente il file hive-site.xml del cluster.

1. Connettiti al cluster .*-m tramite SSH.

2. Apri il file /etc/hive/conf/hive-site.xml e modifica le seguenti righe:

   <property>
      <name>hive.metastore.uris</name>
      <!-- Update this value. -->
      <value>ENDPOINT_URI</value>
   </property>
   <!-- Add this property entry. -->
   <property>
      <name>hive.metastore.warehouse.dir</name>
      <value>WAREHOUSE_DIR</value>
   </property>
   

   Sostituisci quanto segue:

   • ENDPOINT_URI: l'URI dell'endpoint del tuo servizio Dataproc Metastore.
   • WAREHOUSE_DIR: la posizione della directory del warehouse Hive.

3. Riavvia HiveServer2:

   sudo systemctl restart hive-server2.service
   

Cluster autogestiti

Un cluster autogestito può essere un'istanza Apache Hive, un'istanza Apache Spark o un cluster Presto.

Collega un cluster autogestito

Imposta i seguenti valori nel file di configurazione del client:

hive.metastore.uris=ENDPOINT_URI
hive.metastore.warehouse.dir=WAREHOUSE_DIR

Sostituisci quanto segue:

• ENDPOINT_URI: l'URI dell'endpoint del tuo servizio Dataproc Metastore.
• WAREHOUSE_DIR: la posizione della directory del warehouse Hive.

Passaggi successivi

• Guida rapida per il deployment di Dataproc Metastore
• Panoramica di Dataproc Metastore
• Panoramica di Dataproc