Déployer un service Dataproc Metastore

Rôles requis

Pour obtenir les autorisations nécessaires pour créer un Dataproc Metastore et un cluster Dataproc, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Pour accorder un accès complet à toutes les ressources Dataproc Metastore, y compris définir les autorisations IAM : (roles/metastore.admin) sur le compte utilisateur ou le compte de service
• Pour accorder le contrôle total des ressources Dataproc Metastore : Éditeur Dataproc Metastore (roles/metastore.editor) sur le compte utilisateur ou le compte de service
• Pour créer un cluster Dataproc : (roles/dataproc.worker) sur le compte de service

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer un cluster Dataproc Metastore et Dataproc. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un service Dataproc Metastore

Les instructions suivantes vous montrent comment créer un service Dataproc Metastore de base à l'aide des paramètres par défaut fournis.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Créer un cluster Dataproc et se connecter à Dataproc Metastore

Ensuite, vous créez un cluster Dataproc et vous vous connectez à votre metastore depuis le cluster. Votre cluster utilise ensuite le service Metastore comme HMS. Le cluster que vous créez ici utilise les paramètres par défaut fournis.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Se connecter à Apache Hive avec un cluster Dataproc

Les étapes suivantes vous expliquent comment exécuter des exemples de commandes dans Apache Hive pour créer une base de données et une table.

Ensuite, ouvrez une session SSH sur le cluster Dataproc et lancez une session Hive.

1. Dans la console Google Cloud , accédez à la page Instances de VM.
2. Dans la liste des instances de machine virtuelle, cliquez sur SSH à côté de example-cluster.

Une fenêtre de navigateur s'ouvre dans votre répertoire de base sur le nœud, avec une sortie semblable à ce qui suit :

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Pour démarrer Hive et créer une base de données et une table, exécutez les commandes suivantes dans la session SSH :

1. Démarrez Hive.

   hive
   

2. Créez une base de données nommée myDatabase.

   create database myDatabase;
   

3. Affichez la base de données que vous avez créée.

   show databases;
   

4. Utilisez la base de données que vous avez créée.

   use myDatabase;
   

5. Créez une table appelée myTable.

   create table myTable(id int,name string);
   

6. Listez les tables sous myDatabase.

   show tables;
   

7. Décrivez le schéma de la table que vous avez créée.

   desc MyTable;
   

L'exécution de ces commandes affiche un résultat semblable à celui-ci :

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string