Dataproc Metastore-Dienst bereitstellen

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc Metastore und eines Dataproc-Clusters benötigen:

• So gewähren Sie vollständigen Zugriff auf alle Dataproc Metastore-Ressourcen, einschließlich des Festlegens von IAM-Berechtigungen: (roles/metastore.admin) für das Nutzerkonto oder Dienstkonto
• So gewähren Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen: Dataproc Metastore-Bearbeiter (roles/metastore.editor) für das Nutzerkonto oder Dienstkonto
• So erstellen Sie einen Dataproc-Cluster: (roles/dataproc.worker) für das Dienstkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen eines Dataproc Metastore und eines Dataproc-Clusters erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Dataproc Metastore-Dienst erstellen

In der folgenden Anleitung wird gezeigt, wie Sie einen einfachen Dataproc Metastore-Dienst mit den bereitgestellten Standardeinstellungen erstellen.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Dataproc-Cluster erstellen und mit Dataproc Metastore verbinden

Als Nächstes erstellen Sie einen Dataproc-Cluster und stellen eine Verbindung zu Ihrem Metastore über den Cluster her. Danach verwendet der Cluster den Metastore-Dienst als HMS. Der Cluster, den Sie hier erstellen, verwendet die Standardeinstellungen.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Mit einem Dataproc-Cluster eine Verbindung zu Apache Hive herstellen

In den folgenden Schritten wird gezeigt, wie Sie einige Beispielbefehle in Apache Hive ausführen, um eine Datenbank und eine Tabelle zu erstellen.

Öffnen Sie als Nächstes eine SSH-Sitzung im Dataproc-Cluster und starten Sie eine Hive-Sitzung.

1. Rufen Sie in der Google Cloud Console die Seite VM-Instanzen auf.
2. Klicken Sie in der Liste der VM-Instanzen neben example-cluster auf SSH.

Im Stammverzeichnis des Knotens wird ein Browserfenster mit einer Ausgabe ähnlich der folgenden geöffnet:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Führen Sie die folgenden Befehle in der SSH-Sitzung aus, um Hive zu starten und eine Datenbank und Tabelle zu erstellen:

1. Starten Sie Hive.

   hive
   

2. Erstellen Sie eine Datenbank namens myDatabase.

   create database myDatabase;
   

3. Zeige die von dir erstellte Datenbank an.

   show databases;
   

4. Verwenden Sie die Datenbank, die Sie erstellt haben.

   use myDatabase;
   

5. Erstellen Sie eine Tabelle mit dem Namen myTable.

   create table myTable(id int,name string);
   

6. Listen Sie die Tabellen unter myDatabase auf.

   show tables;
   

7. Beschreiben Sie das Schema der Tabelle, die Sie erstellt haben.

   desc MyTable;
   

Die Ausführung dieser Befehle führt zu einer Ausgabe, die in etwa so aussieht:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string