Dataproc Metastore 網路總覽

本文將概略說明可用來設定 Dataproc Metastore 服務的網路設定。

網路主題的快速參考資訊

網路設定 附註
預設網路設定
虛擬私有雲網路 根據預設，Dataproc Metastore 服務會使用 VPC 網路連線至 Google Cloud。

建立虛擬私有雲網路後，Dataproc Metastore 也會自動為您的服務設定虛擬私有雲網路對等互連 。
虛擬私有雲子網路 您可以選擇使用 Private Service Connect，為虛擬私有雲子網路建立 Dataproc Metastore 服務。這是使用 VPC 網路的替代方案。
其他網路設定
共用虛擬私有雲網路 您可以選擇在共用虛擬私有雲網路中建立 Dataproc Metastore 服務。
內部部署網路 您可以使用 Cloud VPN 或 Cloud Interconnect，連線至內部部署環境中的 Dataproc Metastore 服務。
VPC Service Controls 您可以選擇使用 VPC Service Controls 建立 Dataproc Metastore 服務。
防火牆規則 在已建立安全防護程序的非預設或私人環境中，您可能需要自行建立防火牆規則。

預設網路設定

以下說明 Dataproc Metastore 使用的預設網路設定：VPC 網路和 VPC 網路對等互連。

虛擬私有雲網路

根據預設，Dataproc Metastore 服務會使用 VPC 網路連線至 Google Cloud。虛擬私有雲網路是實體網路的虛擬版本，而且已導入 Google 的正式環境網路。建立 Dataproc Metastore 時，服務會自動為您建立 VPC 網路。

如果您在建立服務時未變更任何設定，Dataproc Metastore 會使用 default 虛擬私人雲端網路。在這個設定下，您可將與 Dataproc Metastore 服務搭配使用的 VPC 網路，設為屬於同一個 Google Cloud 專案或不同的專案。您也可以透過這項設定，在單一虛擬私有雲網路中公開服務，或是透過子網路，讓多個虛擬私有雲網路存取您的服務。

每個 VPC 網路的 Dataproc Metastore 都需要以下項目：

虛擬私有雲網路對等互連

建立虛擬私人雲端網路後，Dataproc Metastore 也會自動為您的服務設定 VPC 網路對等互連。VPC 可讓服務存取 Dataproc Metastore 端點通訊協定。建立服務後，您可以在 Google Cloud控制台的「VPC 網路對等互連」頁面中，查看其底層虛擬私有雲網路對等互連。

虛擬私有雲網路對等互連不具備遞移性。也就是說，只有直接對等互連網路可以相互通訊。舉例來說，請考量以下情境：

您有以下網路：VPC 網路 N1、N2 和 N3。

  • 虛擬私有雲網路 N1 與 N2 和 N3 配對。
  • 虛擬私有雲網路 N2 和 N3 並未直接連線。

這代表什麼意思？

這表示透過虛擬私有雲網路對等互連，虛擬私有雲網路 N2 無法與虛擬私有雲網路 N3 通訊。這會對 Dataproc Metastore 連線造成以下影響：

  • 與 Dataproc Metastore 專案網路對等的網路中的虛擬機器無法連上 Dataproc Metastore。
  • 只有 VPC 網路中的主機可以存取 Dataproc 中繼存放區服務。

虛擬私有雲網路對等互連安全性考量

  • 透過虛擬私有雲網路對等互連傳送的流量會提供一定程度的加密。詳情請參閱「Google Cloud 虛擬網路加密和驗證」一文。

  • 為每項服務建立一個具有內部 IP 位址的 VPC 網路，比將所有服務都放在 default VPC 網路中，可提供更佳的網路隔離功能。

虛擬私有雲子網路

Private Service Connect (PSC) 可讓您在虛擬私有雲 (VPC) 網路中，設定與 Dataproc Metastore 中繼資料的私人連線。有了 PSC，您就能建立不含 VPC 對等互連的服務。這樣一來，您就能使用自己的內部 IP 位址存取 Dataproc Metastore，不必離開虛擬私有雲網路或使用外部 IP 位址。

如要在建立服務時設定 Private Service Connect，請參閱「搭配 Dataproc Metastore 使用 Private Service Connect」。

IP 位址

為了連線至網路並保護中繼資料，Dataproc Metastore 服務只會使用內部 IP 位址。這表示公開 IP 位址不會暴露，或可用於網路用途。

使用內部 IP 位址後，Dataproc Metastore 只能連線至位於指定虛擬私有雲 (VPC) 網路或內部環境的虛擬機器 (VM)。

使用內部 IP 位址連線至 Dataproc Metastore 服務時，請使用 RFC 1918 位址範圍。使用這些範圍代表 Dataproc Metastore 會為每個區域從位址空間中分配 /17 範圍和 /20 範圍。舉例來說，如果要將 Dataproc Metastore 服務放在兩個區域，則分配的 IP 位址範圍必須包含下列項目：

  • 至少有兩個大小為 /17 的未使用位址區塊。
  • 至少有兩個未使用的位址區塊，大小為 /20。

如果找不到 RFC 1918 位址區塊，Dataproc Metastore 會改為找出合適的非 RFC 1918 位址區塊。請注意，非 RFC 1918 區塊的分配作業不會考量這些位址是否已在您的虛擬私有雲網路或內部部署中使用。

其他網路設定

如果您需要不同的網路設定，可以將下列選項與 Dataproc Metastore 服務搭配使用。

共用的 VPC 網路

您可以在 共用 VPC 網路中建立 Dataproc Metastore 服務。共用虛擬私有雲可讓您將多個專案的 Dataproc Metastore 資源連結至通用虛擬私有雲網路。

如要在建立服務時設定共用虛擬私人雲端，請參閱「建立 Dataproc Metastore 服務」。

地端部署網路

您可以使用 Cloud VPN 或 Cloud Interconnect，連線至內部部署環境中的 Dataproc Metastore 服務。

VPC Service Controls

VPC Service Controls 可讓您更有效降低資料遭竊取的風險。您可以使用 VPC Service Controls 為 Dataproc Metastore 服務建立範圍。VPC Service Controls 會限制範圍內資源的存取權，不允許從外部存取。只有位於邊界內的用戶端和資源可以彼此互動。

如要透過 Dataproc Metastore 使用 VPC Service Controls，請參閱「 透過 Dataproc Metastore 使用 VPC Service Controls」。請一併參閱 使用 VPC Service Controls 時的 Dataproc Metastore 限制。

Dataproc Metastore 的防火牆規則

在已建立安全防護程序的非預設或私人環境中，您可能需要自行建立防火牆規則。如果您使用防火牆，請勿建立防火牆規則來封鎖 Dataproc Metastore 服務的 IP 位址範圍或通訊埠。

建立 Dataproc Metastore 服務時，您可以接受服務的預設網路。預設網路可確保 VM 享有完整的內部 IP 網路存取權。

如要進一步瞭解防火牆規則的一般資訊，請參閱「虛擬私有雲防火牆規則」和「使用虛擬私有雲防火牆規則」。

為自訂網路建立防火牆規則

使用自訂網路時，請確認防火牆規則允許來自 Dataproc Metastore 端點和前往該端點的流量。如要明確允許 Dataproc Metastore 流量，請執行下列 gcloud 指令：

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

針對 DPMS_NET_PREFIX，請將 /17 子網路遮罩套用至 Dataproc Metastore 服務 IP。您可以在「服務詳細資料」頁面的 endpointUri 設定中找到 Dataproc Metastore IP 位址資訊。

注意事項

網路具有默示允許輸出規則，通常會允許網路存取 Dataproc Metastore。如果您建立的拒絕輸出規則會覆寫隱含的允許輸出規則，請建立優先順序較高的允許輸出規則，允許輸出至 Dataproc Metastore IP。

部分功能 (例如 Kerberos) 需要 Dataproc Metastore 啟動與專案網路中主機的連線。所有網路都有默示的拒絕傳入規則，會封鎖這些連線，並防止這些功能運作。您應建立防火牆規則，允許從包含 Dataproc Metastore IP 的 /17 IP 區塊，在所有通訊埠上輸入 TCP 和 UDP。

自訂轉送

自訂路徑適用於使用私人使用的公開 IP 位址 (PUPI) 的子網路。自訂路徑可讓虛擬私有雲網路連線至對等網路。只有在虛擬私有雲網路匯入自訂路徑，且對等互連網路明確匯出這些路徑時，才能接收自訂路徑。自訂路徑可以是靜態或動態。

與對等虛擬私有雲端網路共用自訂路徑能讓網路直接從對等網路「學習」路徑。也就是說，如果對等網路中的自訂路徑已更新，虛擬私人雲端網路會自動學習並導入自訂路徑，而不需要採取任何額外動作。

如要進一步瞭解自訂轉送，請參閱「網路設定」。

Dataproc Metastore 網路設定範例

在下列範例中，Google 會為 Google 服務在客戶的虛擬私人雲端網路中分配 10.100.0.0/17 和 10.200.0.0/20 位址範圍，並使用對等互連虛擬私有雲網路中的位址範圍。

插入替代文字
圖 1. Dataproc Metastore VPC 網路設定

網路範例的說明：

  • 在虛擬私有雲對等互連的 Google 服務端，Google 會為客戶建立專案。專案會獨立建立，代表沒有其他客戶會共用該專案，而且系統僅會針對客戶佈建的資源收取費用。
  • 在某個區域中建立第一個 Dataproc Metastore 服務時，Dataproc Metastore 會在客戶網路中分配 /17 範圍和 /20 範圍，以便在該區域和網路中使用所有未來的 Dataproc Metastore 服務。Dataproc Metastore 會進一步細分這些範圍，在服務製作者專案中建立子網路和位址範圍。
  • 客戶網路中的 VM 服務可存取任何地區中的 Dataproc Metastore 服務資源 (如果服務提供相關支援)。Google Cloud 部分 Google Cloud 服務可能不支援跨地區通訊。
  • 如果 VM 執行個體與其他地區中的資源進行通訊，跨地區的流量仍會有輸出費用。
  • Google 會將 IP 位址 10.100.0.100 指派給 Dataproc Metastore 服務。在客戶虛擬私有雲網路中，目的地為 10.100.0.100 的要求會透過 VPC 對等互連轉送至服務供應商的網路。連上服務網路後，服務網路會包含可將要求導向正確資源的路徑。
  • 虛擬私人雲端網路之間的流量是在 Google 的網路內傳輸，而非透過公開網際網路傳輸。

後續步驟