搭配 Dataproc Metastore 使用 Private Service Connect

透過 Private Service Connect，您可以建立不使用 虛擬私有雲對等互連的 Dataproc Metastore 服務。本頁面說明 Private Service Connect 為何，以及如何將其做為 Dataproc Metastore 的其他網路選項。

Dataproc Metastore 如何與 VPC 搭配運作

Dataproc Metastore 只會公開私人 IP 端點，藉此保護中繼資料存取權。並透過虛擬私有雲對等互連限制對虛擬私有雲網路中 VM 的連線。

每個 VPC 網路的 Dataproc Metastore 都需要以下區域設定：

因此，在擁擠的虛擬私有雲網路中，設定虛擬私有雲對等互連和 IP 位址保留作業可能會相當困難。同樣地，VPC 網路可能沒有足夠的對等互連配額，無法容納額外的對等互連要求。這兩項限制都可能導致您無法建立新的 Dataproc Metastore 服務。

為避免這些問題，您可以搭配 Private Service Connect 使用 Dataproc Metastore。

Dataproc Metastore 如何搭配 Private Service Connect 運作

Private Service Connect 可在虛擬私有雲網路中提供私人連線，連線至 Dataproc Metastore 中繼資料。

如要搭配 Dataproc Metastore 使用 Private Service Connect，必須完成下列設定：

  • 子網路中的單一位址保留項目。
  • 以服務附件為目標的轉送規則，該附件會公開 Dataproc Metastore 端點。地址保留和轉送規則會在 Dataproc Metastore 服務建立呼叫時一併建立。

注意事項

  • 使用 Private Service Connect 的 Dataproc Metastore 服務，只支援從服務建立期間指定的子網路虛擬私有雲網路存取。

  • Dataproc Metastore 會在每個指定子網路中保留位址，並建立轉送規則。每個子網路都有一個 Thrift 端點 URI，可用於存取 Dataproc Metastore 中繼資料端點。

限制

  • 使用 gRPC 端點通訊協定的 Dataproc Metastore 服務不支援 Private Service Connect。
  • Private Service Connect 不支援反向連線。也就是說，您無法在 Private Service Connect 中使用 Kerberos 設定。
  • 您無法在使用 Private Service Connect 設定的 Dataproc Metastore 服務中，動態新增或移除子網路。如要新增或移除子網路，您必須重新建立服務。
  • 您無法更新使用 Private Service Connect 的 Dataproc Metastore 服務，以便使用 VPC，反之亦然。

使用 Private Service Connect 建立 Dataproc Metastore 服務

以下操作說明將說明如何在建立服務時設定 Private Service Connect。

控制台

  1. 在 Google Cloud 控制台中，開啟 Dataproc Metastore 頁面：

    前往 Dataproc Metastore

  2. 按一下「Dataproc Metastore」頁面頂端的「建立」。

    「Create service」(建立服務) 頁面隨即開啟。

  3. 視需要設定服務。

  4. 在「網路設定」下方，點選「讓服務可在多個 VPC 子網路中存取」。

  5. 選取「Subnetworks」。最多可指定 5 個子網路。

  6. 按一下 [完成]。

  7. 點選「提交」。

驗證服務的網路設定：

  1. 在 Google Cloud 控制台中，開啟 Dataproc Metastore 頁面：

    前往 Dataproc Metastore

  2. 在「Dataproc Metastore」頁面中，按一下要查看的服務名稱。

    系統會開啟該服務的「Service detail」(服務詳細資料) 頁面。

  3. 在「Configuration」分頁下方，確認詳細資料顯示多個 VPC 子網路 URI。

gcloud

  1. 執行下列 gcloud metastore services create 指令，即可使用 Private Service Connect 建立服務：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    或

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. 確認建立作業是否成功。

REST

按照 API 操作說明，使用 API Explorer 建立服務。

在 create 要求參數中，使用 Network Config 欄位設定 Private Service Connect。您可以指定 1 至 5 個子網路。

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

後續步驟