設定多區域 Dataproc Metastore 服務

控制台

1. 在 Google Cloud 控制台中，前往「Dataproc Metastore」頁面。

   前往 Dataproc Metastore

2. 在導覽列中，按一下「+ 建立」。

   「建立 Metastore 服務」對話方塊隨即開啟。

3. 選取「Dataproc Metastore 2」。

4. 在「定價和容量」部分，選取「Enterprise Plus - 雙區域」

5. 在「Endpoint protocol」(端點通訊協定) 中選取「gRPC」。

6. 如要建立並啟動服務，請按一下「Submit」(提交)。

   新的 Metastore 服務會顯示在「Dataproc Metastore」頁面。服務準備就緒前，狀態會顯示為「建立中」。 準備就緒後，狀態會變更為「有效」。 佈建服務可能需要幾分鐘的時間。

gcloud CLI

如要建立 Dataproc Metastore 多區域服務，請執行下列 gcloud metastore services create 指令。這個指令會建立 Dataproc Metastore 3.1.2 版。

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

更改下列內容：

• ：Dataproc Metastore 服務的名稱。SERVICE
• MULTI_REGION：您要在其中建立 Dataproc Metastore 服務的多區域。
• INSTANCE_SIZE：多區域 Dataproc Metastore 的執行個體大小。例如 small、medium 或 large。如果為 INSTANCE_SIZE 指定值，請勿為 SCALING_FACTOR 指定值。
• SCALING_FACTOR：Dataproc Metastore 服務的縮放比例。例如：0.1。 如果為 SCALING_FACTOR 指定值，請勿為 INSTANCE_SIZE 指定值。

控制台

1. 在 Google Cloud 控制台中，前往「Dataproc Metastore」頁面。

   前往 Dataproc Metastore

2. 在導覽列中，按一下「+ 建立」。

   「建立 Metastore 服務」對話方塊隨即開啟。

3. 選取「Dataproc Metastore 2」。

4. 在「價格和容量」部分，選取「Enterprise Plus - 雙區域」。

   詳情請參閱定價方案和資源調度設定。

5. 在「Service name」(服務名稱) 欄位中，輸入服務的專屬名稱。

   如要瞭解命名慣例，請參閱資源命名慣例。

6. 在「Endpoint protocol」(端點通訊協定) 部分，選取「Thrift」。

7. 在「Network Config」(網路設定) 中，提供構成所選多區域設定的子網路。

8. 其餘服務設定選項請使用系統提供的預設值。

9. 如要建立並啟動服務，請按一下「Submit」(提交)。

   新的 Metastore 服務會顯示在「Dataproc Metastore」頁面。服務準備就緒前，狀態會顯示為「建立中」。 準備就緒後，狀態會變更為「有效」。 佈建服務可能需要幾分鐘的時間。

gcloud CLI

如要建立 Dataproc Metastore 多區域服務，請執行下列 gcloud metastore services create 指令。這個指令會建立 Dataproc Metastore 3.1.2 版。

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

或者，您也可以將網路設定儲存在檔案中，如下列指令所示。

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

更改下列內容：

• ：Dataproc Metastore 服務的名稱。SERVICE
• MULTI_REGION：您要在其中建立 Dataproc Metastore 服務的多區域。
• PROJECT_ID：您要在其中建立 Dataproc Metastore 服務的 Google Cloud 專案 ID。
• SUBNET1、SUBNET2：形成多區域設定的子網路清單。您可以使用子網路的 ID、完整網址或相對名稱。最多可指定六個子網路。
• LOCATION1、LOCATION2： 構成多區域設定的位置清單。 您可以使用地點 ID。舉例來說，如果是 nam7 多區域，請使用 us-central1 和 us-east4。
• NETWORK_CONFIG_FROM_FILE：包含網路設定的 YAML 檔案路徑。
• INSTANCE_SIZE：多區域 Dataproc Metastore 的執行個體大小。例如 small、medium 或 large。如果為 INSTANCE_SIZE 指定值，請勿為 SCALING_FACTOR 指定值。
• SCALING_FACTOR：Dataproc Metastore 服務的縮放比例。例如：0.1。 如果為 SCALING_FACTOR 指定值，請勿為 INSTANCE_SIZE 指定值。

REST

如要瞭解如何建立多區域 Dataproc Metastore 服務，請按照建立服務的操作說明，使用 Google APIs Explorer 建立服務。

如要設定多區域服務，請在 Network Config 物件中提供下列資訊。

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

更改下列內容：

• PROJECT_ID：包含 Dataproc Metastore 服務的專案 ID。 Google Cloud
• LOCATION：Dataproc Metastore 服務所在的 Google Cloud 區域。
• SUBNET1、SUBNET2：構成多區域設定的子網路清單。您可以使用子網路的 ID、完整網址或相對名稱。最多可指定五個子網路。
• SCALING_FACTOR：要用於服務的縮放比例係數。

Dataproc Metastore 3.1.2

1. 為 Dataproc 叢集建立下列變數：

   CLUSTER_NAME=CLUSTER_NAME
   PROJECT_ID=PROJECT_ID
   MULTI_REGION=MULTI_REGION
   DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
   PROJECT=PROJECT
   SERVICE_ID=SERVICE_ID

   更改下列內容：

   • CLUSTER_NAME：Dataproc 叢集名稱。
   • PROJECT_ID：包含 Dataproc 叢集的 Google Cloud 專案。確認您使用的子網路具備存取這項專案的適當權限。
   • MULTI_REGION：要建立 Dataproc 叢集的 Google Cloud 多區域。
   • DATAPROC_IMAGE_VERSION：與 Dataproc Metastore 服務搭配使用的 Dataproc 映像檔版本。您必須使用 2.0 以上版本的映像檔。
   • PROJECT：包含 Dataproc Metastore 服務的專案。
   • SERVICE_ID：Dataproc Metastore 服務的服務 ID。

2. 如要建立叢集，請執行下列 gcloud dataproc clusters create 指令。--enable-kerberos 為選填欄位。只有在叢集使用 Kerberos 時，才需要加入這個選項。

   gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project ${PROJECT_ID} \
    --region ${MULTI_REGION} \
    --image-version ${DATAPROC_IMAGE_VERSION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
   [ --enable-kerberos ]

Dataproc Metastore 2.3.6

1. 為 Dataproc Metastore 服務建立下列變數：

   METASTORE_PROJECT=METASTORE_PROJECT
   METASTORE_ID=METASTORE_ID
   MULTI_REGION=MULTI_REGION
   SUBNET=SUBNET

   更改下列內容：

   • METASTORE_PROJECT：包含 Dataproc Metastore 服務的 Google Cloud 專案。
   • METASTORE_ID：Dataproc Metastore 服務的服務 ID。
   • MULTI_REGION：您要用於 Dataproc Metastore 服務的多區域位置。
   • SUBNET：您用於 Dataproc Metastore 服務的其中一個子網路。或是服務所用子網路的父項 VPC 網路中的任何子網路。

2. 為 Dataproc 叢集建立下列變數：

   CLUSTER_NAME=CLUSTER_NAME
   DATAPROC_PROJECT=DATAPROC_PROJECT
   DATAPROC_REGION=DATAPROC_REGION
   HIVE_VERSION=HIVE_VERSION
   IMAGE_VERSION=r>IMAGE_VERSION

   更改下列內容：

   • CLUSTER_NAME：Dataproc 叢集名稱。
   • DATAPROC_PROJECT：包含 Dataproc 叢集的 Google Cloud 專案。確認您使用的子網路具備存取這項專案的適當權限。
   • DATAPROC_REGION：您要在其中建立 Dataproc 叢集的 Google Cloud 區域。
   • HIVE_VERSION：Dataproc Metastore 服務使用的 Hive 版本。
   • IMAGE_VERSION：您搭配 Dataproc Metastore 服務使用的 Dataproc 映像檔版本。
     • 如果是 Hive Metastore 2.0 版，請使用映像檔版本 1.5。
     • 如果是 Hive Metastore 3.1.2 版，請使用 2.0 映像檔版本。

3. 擷取 Dataproc Metastore 服務的倉庫目錄，並儲存在變數中。

   WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

4. 建立設定為多區域 Dataproc Metastore 的 Dataproc 叢集。

   gcloud dataproc clusters create ${CLUSTER_NAME} \
       --project "${DATAPROC_PROJECT}" \
       --region ${DATAPROC_REGION} \
       --scopes "https://www.googleapis.com/auth/cloud-platform" \
       --subnet "${SUBNET}" \
       --optional-components=DOCKER \
       --image-version ${IMAGE_VERSION} \
       --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
       --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
       --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh