Datastream 會使用 Private Service Connect 介面,讓您以可將流量完全保留在Google Cloud內的方式複製資料。
Private Service Connect 介面是一種資源,可讓供應商虛擬私有雲 (VPC) 網路與消費者虛擬私有雲網路中的網路連結建立連線,並接收來自該連結的連線。生產端和消費端網路可以位於不同的專案和機構。
圖 1. Private Service Connect 介面可讓服務供應商啟動與服務消費者的連線。
如要瞭解關鍵字定義,請參閱下文。
如要進一步瞭解 Private Service Connect,請參閱 虛擬私有雲說明文件。
重要詞彙
本節概述適用於 Private Service Connect 的重要詞彙和概念。
供應端:啟動與用戶端網路連線的實體,通常是虛擬私有雲網路中的服務或 VM。產生者會提供服務:在 Datastream 情境中,它會擷取資料並複製至目的地。
消費者:接收供應端連線的實體,通常是虛擬私有雲網路中的 VM。當用戶端接受連線時,Google Cloud 會從網路連結指定的用戶端虛擬私有雲網路子網路中,為 Private Service Connect 介面分配 IP 位址。Private Service Connect 介面的 VM 具有第二個網路介面,可連線至生產端的虛擬私有雲網路。
網路連結:區域資源,可讓供應商虛擬私有雲網路透過 Private Service Connect 介面,與用戶端虛擬私有雲網路建立連線。在用戶端虛擬私有雲網路中,網路連結會做為供應商網路中 Private Service Connect 介面連線的指定進入點。在網路連結上建立 Private Service Connect 介面時,系統會從網路連結的子網路中,為供應端 VM 指派 IP。Private Service Connect 介面的虛擬機器執行個體至少有一個以上的一般網路介面,可連線至生產端子網路。詳情請參閱「關於網路連結」。
製作者專案:由 Google 擁有的專案,其中代管執行 Datastream 的虛擬機器 (VM)。為了存取客戶虛擬私有雲中的資源,Datastream VM 會使用 Private Service Connect 網路介面從其子網路指派的 IP 位址。
Private Service Connect 先決條件
您必須先執行下列步驟,讓 Datastream 與專案建立連線,才能使用 Private Service Connect 介面建立私人連線設定:
具備可連線至 Datastream 私人網路的虛擬私有雲網路。如要進一步瞭解如何建立虛擬私有雲網路,請參閱「建立及管理虛擬私有雲網路」。
在虛擬私有雲專案中建立網路連結。
確認 Google Cloud 和 on-premises 防火牆允許將源自網路連結 IP 位址範圍的流量,傳送至您要串流處理資料的來源資料庫。
定價
透過 Private Service Connect 的資料輸入和輸出會產生費用。詳情請參閱 Private Service Connect 的價格。
必要角色和權限
如要取得建立網路附件的必要權限,請要求管理員在專案中授予您下列身分與存取權管理 (IAM) 角色:
- 建立、查看及刪除網路附件:Compute 網路管理員 (
roles/compute.networkAdmin
)
如果網路附件位於 Datastream 以外的專案,您必須將下列角色授予 service-DATASTREAM-PROJECT-NUMBER@gcp-sa-datastream.iam.gserviceaccount.com
服務帳戶:
具備網路資源的唯讀存取權:Compute 網路檢視者 (
roles/compute.networkViewer
)在網路附件所在的專案中授予角色,並將 DATASTREAM-PROJECT-NUMBER 替換為部署 Datastream 的專案編號。
如要進一步瞭解如何授予角色,請參閱「管理存取權」。
如要進一步瞭解 Datastream 中的存取權控管選項,請參閱「使用 IAM 控管存取權」。
設定 Private Service Connect
如要讓 Datastream 使用 Private Service Connect 介面建立對外連線至網路,請按照下列步驟操作:
- 在專案中建立網路連結。
- 建立私人連線設定。
建立網路連結
如要在 Datastream 中設定 Private Service Connect,您必須先建立網路連結。
控制台
在 Google Cloud 控制台中,前往「Network attachments」(網路附件) 頁面:
按一下「Create network attachment」(建立網路連結)。
在「Name」(名稱) 欄位中,輸入網路連結的名稱。
從「Network」清單中,選取虛擬私有雲或 Shared VPC 網路。
在「區域」清單中選取一個 Google Cloud 區域。這個區域必須與與 Datastream 私人網路對等互連的虛擬私有雲網路子網路所使用的區域相同。詳情請參閱「Private Service Connect 必要條件」。
在「Subnetwork」(子網路) 清單中,選取子網路範圍。
在「連線偏好設定」中,選取「接受所選專案的連線」。
建立 Datastream 私人連線資源時,Datastream 會自動將生產端專案新增至「Accepted projects」清單。
請勿新增已接受的專案或遭拒的專案。
按一下「Create network attachment」(建立網路連結)。
gcloud
建立一或多個子網路。例如:
gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGION
網路附件會在後續步驟中使用這些子網路。
在與 Datastream 專案相同的區域中建立網路連結資源,並將
connection-preference
屬性設為ACCEPT_MANUAL
:gcloud compute network-attachments create NAME --region=REGION --connection-preference=ACCEPT_MANUAL --subnets=SUBNET
更改下列內容:
NAME
:網路附件的名稱。REGION
: Google Cloud 區域名稱。這個區域必須與 Datastream 私人網路相同。SUBNET
:子網路名稱。
這個指令的輸出內容是網路附件網址,格式如下:
projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID
。請記下這個網址,因為 Datastream 需要這個網址才能連線。如要瞭解如何使用 Google Cloud建立 Private Service Connect 介面私人連線設定,請參閱「管理私人連線設定」。
建立私人連線設定
在 Google Cloud 專案中建立網路連結後,您必須使用 Private Service Connect 介面設定私人連線設定。建立設定時,您會將代管 Private Service Connect 介面的專案加入許可清單。接著,您可以將網路連結網址提供給 Datastream,做為 Private Service Connect 資源的一部分。
詳情請參閱「建立私人連線設定」。