Esegui il deployment di un servizio Dataproc Metastore

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e un cluster Dataproc, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Per concedere l'accesso completo a tutte le risorse Dataproc Metastore, inclusa l'impostazione delle autorizzazioni IAM: (roles/metastore.admin) all'account utente o all'account di servizio
• Per concedere il controllo completo delle risorse di Dataproc Metastore: Dataproc Metastore Editor (roles/metastore.editor) nell'account utente o nell'account di servizio
• Per creare un cluster Dataproc: (roles/dataproc.worker) nell'account di servizio

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un Dataproc Metastore e un cluster Dataproc. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea un servizio Dataproc Metastore

Le istruzioni riportate di seguito mostrano come creare un servizio Dataproc Metastore di base utilizzando le impostazioni predefinite fornite.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Crea un cluster Dataproc e connettiti a Dataproc Metastore

Successivamente, crea un cluster Dataproc e connettiti al metastore dal cluster. In seguito, il cluster utilizza il servizio metastore come HMS. Il cluster creato qui utilizza le impostazioni predefinite fornite.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Connettiti ad Apache Hive con un cluster Dataproc

I passaggi successivi mostrano come eseguire alcuni comandi di esempio in Apache Hive per creare un database e una tabella.

A questo punto, apri una sessione SSH sul cluster Dataproc e avvia una sessione Hive.

1. Nella console Google Cloud, vai alla pagina Istanze VM.
2. Nell'elenco delle istanze della macchina virtuale, fai clic su SSH accanto a example-cluster.

Nella home directory del nodo si apre una finestra del browser con un output simile al seguente:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Per avviare Hive e creare un database e una tabella, esegui i seguenti comandi nella sessione SSH:

1. Avvia Hive.

   hive
   

2. Crea un database denominato myDatabase.

   create database myDatabase;
   

3. Mostra il database che hai creato.

   show databases;
   

4. Utilizza il database che hai creato.

   use myDatabase;
   

5. Crea una tabella denominata myTable.

   create table myTable(id int,name string);
   

6. Elenca le tabelle in myDatabase.

   show tables;
   

7. Descrivi lo schema della tabella che hai creato.

   desc MyTable;
   

L'esecuzione di questi comandi mostra un output simile al seguente:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string