部署 Dataproc Metastore 服務

必要的角色

如要取得建立 Dataproc Metastore 和 Dataproc 叢集所需的權限，請要求管理員授予下列 IAM 角色：

• 如要授予所有 Dataproc Metastore 資源的完整存取權，包括設定 IAM 權限： (roles/metastore.admin) 在使用者帳戶或服務帳戶上
• 如要授予 Dataproc Metastore 資源的完整控制權： 在使用者帳戶或服務帳戶上，指派 Dataproc Metastore 編輯者 (roles/metastore.editor)
• 如要建立 Dataproc 叢集，請按照下列步驟操作： (roles/dataproc.worker) 在服務帳戶上

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這些預先定義的角色具備建立 Dataproc Metastore 和 Dataproc 叢集所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

建立 Dataproc Metastore 服務

以下操作說明會引導您使用預設設定，建立基本的 Dataproc Metastore 服務。

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

建立 Dataproc 叢集並連線至 Dataproc Metastore

接著，請建立 Dataproc 叢集，並從叢集連線至 Metastore。之後，叢集就會使用 Metastore 服務做為 HMS。 您在這裡建立的叢集會使用預設設定。

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

透過 Dataproc 叢集連線至 Apache Hive

接下來的步驟說明如何在 Apache Hive 中執行一些範例指令，建立資料庫和資料表。

接著，在 Dataproc 叢集上開啟 SSH 工作階段，並啟動 Hive 工作階段。

1. 前往 Google Cloud 控制台的「VM Instances」(VM 執行個體) 頁面。
2. 在虛擬機器執行個體清單中，按一下 example-cluster 旁的「SSH」SSH。

瀏覽器視窗會開啟節點上的主目錄，並顯示類似下列內容的輸出結果：

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

如要啟動 Hive 並建立資料庫和資料表，請在 SSH 工作階段中執行下列指令：

1. 啟動 Hive。

   hive
   

2. 建立名為 myDatabase 的資料庫。

   create database myDatabase;
   

3. 顯示您建立的資料庫。

   show databases;
   

4. 使用您建立的資料庫。

   use myDatabase;
   

5. 建立名為 myTable 的資料表。

   create table myTable(id int,name string);
   

6. 列出 myDatabase 下方的資料表。

   show tables;
   

7. 說明您建立的資料表結構定義。

   desc MyTable;
   

執行這些指令後，輸出內容會類似下方示例：

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string