搭配 Dataproc Metastore 使用 Private Service Connect

透過 Private Service Connect，您可以建立不使用虛擬私有雲對等互連的 Dataproc Metastore 服務。本頁說明 Private Service Connect，以及如何將其做為 Dataproc Metastore 的替代網路選項。

Dataproc Metastore 如何與 VPC 搭配運作

Dataproc Metastore 只會公開私人 IP 端點，藉此保護中繼資料存取權。此外，這項功能也會使用虛擬私有雲對等互連，限制與虛擬私有雲網路中 VM 的連線。

Dataproc Metastore 需要為每個虛擬私有雲網路的每個區域設定下列項目：

因此，在擁擠的虛擬私有雲網路上設定虛擬私有雲對等互連和 IP 位址保留項目時，可能會遇到困難。同樣地，虛擬私有雲網路的對等互連配額可能不足，無法處理額外的對等互連要求。這兩項限制都會導致您無法建立新的 Dataproc Metastore 服務。

如要解決這些問題，您可以搭配 Private Service Connect 使用 Dataproc Metastore。

Dataproc Metastore 如何搭配 Private Service Connect 運作

Private Service Connect 可在虛擬私有雲網路之間，提供 Dataproc Metastore 中繼資料的私人連線。

如要搭配 Dataproc Metastore 使用 Private Service Connect，必須完成下列設定：

  • 子網路中的單一位址預留。
  • 轉送規則會以服務連結為目標，公開 Dataproc Metastore 端點。建立 Dataproc Metastore 服務時，系統會一併建立位址預留和轉送規則。

注意事項

  • 使用 Private Service Connect 的 Dataproc Metastore 服務僅支援從服務建立期間指定的子網路虛擬私有雲網路存取。

  • Dataproc Metastore 會在每個指定的子網路中保留位址，並建立轉送規則。每個子網路都有 Thrift 端點 URI，可用於存取 Dataproc Metastore 中繼資料端點。

限制

  • 使用 gRPC 端點通訊協定的 Dataproc Metastore 服務不支援 Private Service Connect。
  • Private Service Connect 不支援反向連線。 也就是說，您無法搭配 Private Service Connect 使用 Kerberos 設定。
  • 您無法從已設定 Private Service Connect 的 Dataproc Metastore 服務動態新增或移除子網路。如要新增或移除子網路，您必須重新建立服務。
  • 您無法更新使用 Private Service Connect 的 Dataproc Metastore 服務，改為使用虛擬私有雲，反之亦然。

使用 Private Service Connect 建立 Dataproc Metastore 服務

下列操作說明示範如何在建立服務時設定 Private Service Connect。

控制台

  1. 在 Google Cloud 控制台中，開啟 Dataproc Metastore 頁面：

    前往 Dataproc Metastore

  2. 在「Dataproc Metastore」頁面頂端，按一下「建立」。

    「建立服務」頁面隨即開啟。

  3. 視需要設定服務。

  4. 在「網路設定」下方，按一下「在多個虛擬私有雲子網路中提供服務存取權」。

  5. 選取「子網路」。最多可指定 5 個子網路。

  6. 按一下 [完成]。

  7. 按一下「提交」。

確認服務的網路設定：

  1. 在 Google Cloud 控制台中，開啟 Dataproc Metastore 頁面：

    前往 Dataproc Metastore

  2. 在「Dataproc Metastore」頁面中，按一下要查看的服務名稱。

    該服務的「Service detail」(服務詳細資料) 頁面隨即開啟。

  3. 在「設定」分頁下方，確認詳細資料顯示多個虛擬私有雲子網路 URI。

gcloud

  1. 執行下列 gcloud metastore services create 指令，建立使用 Private Service Connect 的服務：

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    或

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. 確認建立作業是否成功。

REST

按照 API 操作說明，使用 API Explorer 建立服務。

在 create 要求參數中，使用 Network Config 欄位設定 Private Service Connect。您可以指定 1 至 5 個子網路。

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

後續步驟