Dataproc Metastore-Dienst bereitstellen

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc-Metastores und eines Dataproc-Clusters benötigen:

• So gewähren Sie vollständigen Zugriff auf alle Dataproc Metastore-Ressourcen, einschließlich der Festlegung von IAM-Berechtigungen: (roles/metastore.admin) für das Nutzerkonto oder Dienstkonto
• So gewähren Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen: Dataproc Metastore Editor (roles/metastore.editor) für das Nutzer- oder Dienstkonto
• So erstellen Sie einen Dataproc-Cluster: (roles/dataproc.worker) im Dienstkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen eines Dataproc-Metastores und eines Dataproc-Clusters erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Dataproc Metastore-Dienst erstellen

In der folgenden Anleitung wird gezeigt, wie Sie einen einfachen Dataproc Metastore-Dienst mit den bereitgestellten Standardeinstellungen erstellen.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Dataproc-Cluster erstellen und eine Verbindung zum Dataproc Metastore herstellen

Als Nächstes erstellen Sie einen Dataproc-Cluster und stellen über den Cluster eine Verbindung zum Metastore her. Danach verwendet Ihr Cluster den Metastore-Dienst als HMS. Der hier erstellte Cluster verwendet die standardmäßig bereitgestellten Einstellungen.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Verbindung zu Apache Hive über einen Dataproc-Cluster herstellen

In den nächsten Schritten wird gezeigt, wie Sie einige Beispielbefehle in Apache Hive ausführen, um eine Datenbank und eine Tabelle zu erstellen.

Öffnen Sie als Nächstes eine SSH-Sitzung auf dem Dataproc-Cluster und starten Sie eine Hive-Sitzung.

1. Rufen Sie in der Google Cloud Console die Seite VM-Instanzen auf.
2. Klicken Sie in der Liste der VM-Instanzen neben example-cluster auf SSH.

Im Stammverzeichnis des Knotens wird ein Browserfenster mit einer Ausgabe geöffnet, die in etwa so aussieht:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Führen Sie die folgenden Befehle in der SSH-Sitzung aus, um Hive zu starten und eine Datenbank und Tabelle zu erstellen:

1. Starten Sie Hive.

   hive
   

2. Erstellen Sie eine Datenbank namens myDatabase.

   create database myDatabase;
   

3. Zeigen Sie die von Ihnen erstellte Datenbank an.

   show databases;
   

4. Verwenden Sie die von Ihnen erstellte Datenbank.

   use myDatabase;
   

5. Erstellen Sie eine Tabelle mit dem Namen myTable.

   create table myTable(id int,name string);
   

6. Listen Sie die Tabellen unter myDatabase auf.

   show tables;
   

7. Beschreiben Sie das Schema der von Ihnen erstellten Tabelle.

   desc MyTable;
   

Die Ausgabe dieser Befehle sieht in etwa so aus:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string