Esegui il deployment di un servizio Dataproc Metastore

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e un cluster Dataproc, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Per concedere l'accesso completo a tutte le risorse Dataproc Metastore, inclusa l'impostazione delle autorizzazioni IAM: (roles/metastore.admin) sull'account utente o sul account di servizio
• Per concedere il controllo completo delle risorse Dataproc Metastore: Editor Dataproc Metastore (roles/metastore.editor) sull'account utente o sul account di servizio
• Per creare un cluster Dataproc: (roles/dataproc.worker) sul account di servizio

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un servizio Dataproc Metastore e un cluster Dataproc. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea un servizio Dataproc Metastore

Le seguenti istruzioni mostrano come creare un servizio Dataproc Metastore di base utilizzando le impostazioni predefinite fornite.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Crea un cluster Dataproc e connettiti a Dataproc Metastore

Successivamente, crea un cluster Dataproc e connettiti al metastore dal cluster. Dopodiché, il cluster utilizza il servizio metastore come HMS. Il cluster che crei qui utilizza le impostazioni predefinite fornite.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Connettiti ad Apache Hive con un cluster Dataproc

I passaggi successivi mostrano come eseguire alcuni comandi di esempio in Apache Hive per creare un database e una tabella.

Successivamente, apri una sessione SSH sul cluster Dataproc e avvia una sessione Hive.

1. Nella console Google Cloud , vai alla pagina Istanze VM.
2. Nell'elenco delle istanze della macchina virtuale, fai clic su SSH accanto a example-cluster.

Si apre una finestra del browser nella directory home del nodo con un output simile al seguente:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Per avviare Hive e creare un database e una tabella, esegui i seguenti comandi nella sessione SSH:

1. Avvia Hive.

   hive
   

2. Crea un database di nome myDatabase.

   create database myDatabase;
   

3. Mostra il database che hai creato.

   show databases;
   

4. Utilizza il database che hai creato.

   use myDatabase;
   

5. Crea una tabella denominata myTable.

   create table myTable(id int,name string);
   

6. Elenca le tabelle in myDatabase.

   show tables;
   

7. Descrivi lo schema della tabella che hai creato.

   desc MyTable;
   

L'esecuzione di questi comandi mostra un output simile al seguente:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string