您可以使用 Azure 事件中樞匯入主題,以外部來源的形式從 Azure 事件中樞持續擷取資料,並將資料匯入 Pub/Sub。接著,您就可以將資料串流至 Pub/Sub 支援的任何目的地。
本文件說明如何建立及管理 Azure Event Hubs 匯入主題。如要建立標準主題,請參閱「建立標準主題」一文。
如要進一步瞭解匯入主題,請參閱「關於匯入主題」。
事前準備
進一步瞭解 Pub/Sub 發布程序。
設定工作負載身分聯盟,讓Google Cloud 能夠存取外部串流服務。
必要角色和權限
如要取得建立及管理 Azure Event Hubs 匯入主題所需的權限,請要求管理員為您的主題或專案授予 Pub/Sub 編輯者 (roles/pubsub.editor
) 身分與存取權管理角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。
這個預先定義的角色包含建立及管理 Azure 事件中樞匯入主題所需的權限。如要查看確切的必要權限,請展開「必要權限」部分:
所需權限
如要建立及管理 Azure 事件中樞匯入主題,您必須具備下列權限:
-
建立匯入主題:
pubsub.topics.create
-
刪除匯入主題:
pubsub.topics.delete
-
取得匯入主題:
pubsub.topics.get
-
列出匯入主題:
pubsub.topics.list
-
發布至匯入主題:
pubsub.topics.publish
-
更新匯入主題:
pubsub.topics.update
-
取得匯入主題的身分與存取權管理政策:
pubsub.topics.getIamPolicy
-
為匯入主題設定 IAM 政策:
pubsub.topics.setIamPolicy
您可以在專案層級和個別資源層級設定存取權控管。
設定聯合身分,以便存取 Azure 事件中樞
Workload Identity 聯盟可讓 Google Cloud 服務存取在 Google Cloud以外執行的工作負載。有了身分聯盟,您就不必維護或傳遞憑證,就能 Google Cloud 存取其他雲端中的資源。您可以改用工作負載本身的識別資訊,驗證 Google Cloud 並存取資源。
在 Google Cloud中建立服務帳戶
這是選用步驟。如果您已有服務帳戶,可以在這項程序中使用該帳戶,而不需要建立新的服務帳戶。如果您使用現有的服務帳戶,請參閱記錄服務帳戶的唯一 ID,瞭解下一個步驟。
對於 Azure 事件中樞匯入主題,Pub/Sub 會使用服務帳戶做為身分,以便存取 Azure 中的資源。
如要進一步瞭解如何建立服務帳戶,包括必要條件、必要角色和權限,以及命名規範,請參閱「建立服務帳戶」一文。建立服務帳戶後,您可能需要等待 60 秒或更長的時間,才能使用服務帳戶。這種行為的發生,是因為讀取作業最終會一致;新服務帳戶可能需要一段時間才會顯示。
記下服務帳戶專屬 ID
您需要服務帳戶專屬 ID,才能在 Azure 中設定應用程式註冊。
前往 Google Cloud 控制台的「Service account」詳細資料頁面。
按一下您剛建立的服務帳戶,或您打算使用的服務帳戶。
在「服務帳戶詳細資料」頁面中記下專屬 ID 編號。
您需要這個 ID 才能在工作流程中設定Azure 中的應用程式註冊。
為 Pub/Sub 服務帳戶新增服務帳戶權杖建立者角色
服務帳戶權杖建立者角色 (roles/iam.serviceAccountTokenCreator
) 可讓實體為服務帳戶建立短期憑證。這些權杖或憑證用於模擬服務帳戶。
如要進一步瞭解服務帳戶模擬功能,請參閱「服務帳戶模擬功能」。
您也可以在這個程序中新增 Pub/Sub 發布者角色 (roles/pubsub.publisher
)。如要進一步瞭解這個角色以及為何要新增這個角色,請參閱「將 Pub/Sub 發布者角色新增至 Pub/Sub 服務帳戶」一文。
前往 Google Cloud 控制台的「IAM」頁面。
按一下「包含 Google提供的角色授予項目」核取方塊。
找出格式為
service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com
的服務帳戶。針對這個服務帳戶,按一下「Edit Principal」(編輯主體) 按鈕。
如有需要,請按一下「新增其他角色」。
搜尋並點選「服務帳戶憑證建立者角色」圖示 (
roles/iam.serviceAccountTokenCreator
)。按一下 [儲存]。
使用 Identity 聯盟建立應用程式註冊
如要擷取 Azure Event Hubs 中的資料,請透過 Microsoft Identity 平台註冊應用程式,並為服務帳戶啟用身分聯盟。這可讓服務帳戶驗證 Azure。
如要進一步瞭解如何透過 Microsoft Identity 平台註冊應用程式,請參閱 Azure 應用程式註冊快速入門指南。
登入 Azure 入口網站,然後開啟 Microsoft Entra ID 頁面。
在導覽窗格中,依序按一下「管理」 >「應用程式註冊」。
按一下 [新增註冊]。
為應用程式命名,並將「支援的帳戶類型」設為「僅限 Microsoft 個人帳戶」以外的任何值。
如要註冊應用程式,請按一下「Register」。
開啟應用程式,然後依序按一下「管理」>「憑證和密鑰」。
按一下「新增憑證」。
如要設定聯合身分驗證,請按一下「其他發證機構」。
在「Issuer」欄位中輸入
https://accounts.google.com
。在「Value」欄位中,輸入 Pub/Sub 服務帳戶的專屬 ID。
如要找出這個 ID,請參閱「記錄服務帳戶專屬 ID」一節。
為聯合式身分提供名稱,然後按一下「新增」。
授予已註冊應用程式的角色指派
如要讓 Pub/Sub 從 Azure 事件中樞讀取資料,請將必要角色授予已註冊的應用程式。
登入 Azure 入口網站,然後開啟 Event Hubs 命名空間。
如要開啟命名空間,請在搜尋欄位中輸入「Event Hubs」,然後點選其中一個命名空間。
在側欄中,按一下「存取權控管 (IAM)」。
依序點選「新增」 >「新增角色指派」。
選取「Azure Event Hubs Data Receiver」角色,然後按一下「Next」。
這樣一來,Pub/Sub 服務帳戶就能取得 Azure 事件中樞的讀取權限。
按一下「+ 選取成員」,然後搜尋已註冊的應用程式。
在搜尋欄位中輸入已註冊的應用程式名稱。
按一下應用程式名稱,然後點選「選取」。
按一下「查看 + 指派」。
重複執行步驟 3 至 6,並新增 Azure Event Hubs Data Sender 角色。
這個角色會授予 Google Cloud 服務帳戶權限,以便從 Azure 事件中樞擷取中繼資料。
如要進一步瞭解如何指派 Azure 角色,請參閱「指派 Azure 角色」頁面。
將 Pub/Sub 發布者角色新增至 Pub/Sub 授權對象
如要啟用發布功能,您必須為 Pub/Sub 服務帳戶指派發布者角色,讓 Pub/Sub 能夠發布至 Azure Event Hubs 匯入主題。
啟用從所有主題發布內容的權限
如果您尚未建立任何 Azure 事件中樞匯入主題,請使用這個方法。
前往 Google Cloud 控制台的「IAM」頁面。
按一下「包含 Google提供的角色授予項目」核取方塊。
找出格式為
service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com
的服務帳戶。針對這個服務帳戶,按一下「Edit Principal」(編輯主體) 按鈕。
如有需要,請按一下「新增其他角色」。
搜尋並點選「Pub/Sub 發布者角色」 (
roles/pubsub.publisher
)。按一下 [儲存]。
啟用單一主題的發布功能
只有在 Azure 事件中樞匯入主題已存在時,才使用這個方法。
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
執行
gcloud pubsub topics add-iam-policy-binding
指令:gcloud pubsub topics add-iam-policy-binding TOPIC_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com" \ --role="roles/pubsub.publisher"
更改下列內容:
TOPIC_ID
:Azure 事件中樞匯入主題的主題 ID。PROJECT_NUMBER
:專案編號。如要查看專案編號,請參閱「識別專案」。
將服務帳戶使用者角色新增至服務帳戶
「服務帳戶使用者」角色 (roles/iam.serviceAccountUser
) 包含 iam.serviceAccounts.actAs
權限,可讓主體將服務帳戶連結至 Azure Event Hubs 匯入主題的擷取設定,並使用該服務帳戶建立聯合身分。
前往 Google Cloud 控制台的「IAM」頁面。
針對發出建立或更新主題呼叫的主體,按一下「Edit Principal」按鈕。
如有需要,請按一下「新增其他角色」。
搜尋並點選「服務帳戶使用者角色」(
roles/iam.serviceAccountUser
)。按一下 [儲存]。
使用 Azure 事件中樞匯入主題
您可以建立新的匯入主題,或編輯現有主題。
注意事項
即使快速依序建立主題和訂閱項目,也可能導致資料遺失。在訂閱前,您可以短暫地查看該主題。如果在這個時間內有任何資料傳送至主題,就會遺失。請先建立主題、建立訂閱項目,然後再將主題轉換為匯入主題,這樣就能確保在匯入程序中不會遺漏任何訊息。
如果您需要重新建立現有匯入主題的 Azure 事件中樞,且該主題名稱相同,則無法只刪除 Azure 事件中樞並重新建立。這項操作可能會使 Pub/Sub 的偏移管理無效,進而導致資料遺失。如要減輕這種情況,請按照下列步驟操作:
- 刪除 Pub/Sub 匯入主題
- 刪除 Azure 事件中樞
- 建立 Azure 事件中樞
- 建立 Pub/Sub 匯入主題
Azure 事件中樞的資料一律會從最早的時間差讀取。
建立 Azure 事件中樞匯入主題
如要進一步瞭解與主題相關聯的屬性,請參閱「主題的屬性」。
請確認你已完成下列程序:
如要建立 Azure Event Hubs 匯入主題,請按照下列步驟操作:
控制台
前往 Google Cloud 控制台的「Topics」頁面。
按一下「建立主題」。
在「主題 ID」欄位中,輸入 Azure Event Hubs 匯入主題的 ID。如要進一步瞭解主題命名方式,請參閱命名規範。
選取「Add a default subscription」。
選取「啟用擷取」。
在擷取來源中,選取「Azure 事件中樞」。
輸入下列詳細資訊:
資源群組:Azure 資源群組的名稱,其中包含您打算擷取至 Pub/Sub 的 Azure Event Hubs 命名空間。
事件中樞命名空間:Azure 事件中樞命名空間的名稱,其中包含您打算擷取至 Pub/Sub 的 Azure 事件中樞。
事件中樞:您打算擷取至 Pub/Sub 的 Azure 事件中樞名稱。
用戶端 ID:Azure 中已註冊應用程式的應用程式 (用戶端) ID,其中包含 Google Cloud 服務帳戶的聯盟身分。這個值應為 UUID。詳情請參閱 Azure 應用程式註冊頁面。
用戶群 ID:擁有您打算擷取至 Pub/Sub 的 Azure 事件中樞的用戶群目錄 (用戶群) ID。這個值應為 UUID。如要找出用戶群 ID,請前往 Azure 取得訂閱和用戶群 ID 頁面。
訂閱 ID:擁有 Azure Event Hubs 資源群組的訂閱 ID。這個值應為 UUID。如要找出訂閱 ID,請前往 Azure 取得訂閱和用戶群 ID 頁面。
服務帳戶:您在 Google Cloud中建立的服務帳戶。
保留其餘欄位的預設值。
按一下「建立主題」。
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
執行
gcloud pubsub topics create
指令:gcloud pubsub topics create TOPIC_ID \ --azure-event-hubs-ingestion-resource-group RESOURCE_GROUP \ --azure-event-hubs-ingestion-namespace NAMESPACE \ --azure-event-hubs-ingestion-event-hub EVENT_HUB \ --azure-event-hubs-ingestion-client-id CLIENT_ID \ --azure-event-hubs-ingestion-tenant-id TENANT_ID \ --azure-event-hubs-ingestion-subscription-id SUBSCRIPTION_ID \ --azure-event-hubs-ingestion-service-account SERVICE_ACCOUNT
更改下列內容:
TOPIC_ID
:Pub/Sub 主題的名稱或 ID。RESOURCE_GROUP
:Azure Event Hubs 資源群組的名稱,其中包含您打算擷取至 Pub/Sub 的 Azure Event Hubs 命名空間。NAMESPACE
:Azure 事件中樞命名空間的名稱,其中包含您打算擷取至 Pub/Sub 的 Azure 事件中樞。EVENT_HUB
:您打算將資料攝入 Pub/Sub 的 Azure 事件中樞名稱。CLIENT_ID
:Azure 中已註冊應用程式的應用程式 (用戶端) ID,其中包含Google Cloud 服務帳戶的聯盟身分。這個值應為 UUID。詳情請參閱 Azure 應用程式註冊頁面。TENANT_ID
:擁有您打算匯入至 Pub/Sub 的 Azure 事件中樞的租用戶目錄 (租用戶) ID。這個值應為 UUID。如要找出用戶群 ID,請前往 Azure 事件 Azure Get subscription and tenant IDs 頁面。SUBSCRIPTION_ID
:擁有您打算擷取至 Pub/Sub 的 Azure 事件中樞的訂閱項目 ID。這個值應為 UUID。如要查看訂閱 ID,請前往 Azure 取得訂閱和用戶群 ID 頁面。SERVICE_ACCOUNT
:您在「在 Google Cloud中建立服務帳戶」中建立的服務帳戶
Go
在嘗試這個範例之前,請先按照 Pub/Sub 快速入門:使用用戶端程式庫中的操作說明設定 Go。詳情請參閱 Pub/Sub Go API 參考說明文件。
如要向 Pub/Sub 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
在嘗試這個範例之前,請先按照 Pub/Sub 快速入門:使用用戶端程式庫中的操作說明設定 Java。詳情請參閱 Pub/Sub Java API 參考說明文件。
如要向 Pub/Sub 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Node.js
在嘗試這個範例之前,請先按照 Pub/Sub 快速入門:使用用戶端程式庫中的操作說明設定 Node.js。詳情請參閱 Pub/Sub Node.js API 參考說明文件。
如要向 Pub/Sub 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
在嘗試這個範例之前,請先按照 Pub/Sub 快速入門:使用用戶端程式庫中的操作說明設定 Python。詳情請參閱 Pub/Sub Python API 參考說明文件。
如要向 Pub/Sub 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
C++
在嘗試這個範例之前,請先按照 Pub/Sub 快速入門:使用用戶端程式庫中的操作說明設定 C++。詳情請參閱 Pub/Sub C++ API 參考說明文件。
如要向 Pub/Sub 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Node.js (TypeScript)
在嘗試這個範例之前,請先按照 Pub/Sub 快速入門:使用用戶端程式庫中的操作說明設定 Node.js 環境。 詳情請參閱 Pub/Sub Node.js API 參考說明文件。
如要向 Pub/Sub 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
如果發生問題,請參閱「排解 Azure Event Hubs 匯入主題問題」。
編輯 Azure 事件中樞匯入主題
如要編輯 Azure Event Hubs 匯入主題的擷取資料來源設定,請按照下列步驟操作:
控制台
前往 Google Cloud 控制台的「Topics」頁面。
按一下 Azure 事件中樞匯入主題。
在主題詳細資料頁面中,按一下「編輯」。
更新要變更的欄位。
按一下「更新」。
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
執行
gcloud pubsub topics update
指令,並使用下列範例中提到的所有標記:gcloud pubsub topics update TOPIC_ID \ --azure-event-hubs-ingestion-resource-group RESOURCE_GROUP \ --azure-event-hubs-ingestion-namespace NAMESPACE \ --azure-event-hubs-ingestion-event-hub EVENT_HUB \ --azure-event-hubs-ingestion-client-id CLIENT_ID \ --azure-event-hubs-ingestion-tenant-id TENANT_ID \ --azure-event-hubs-ingestion-subscription-id SUBSCRIPTION_ID \ --azure-event-hubs-ingestion-service-account SERVICE_ACCOUNT
更改下列內容:
TOPIC_ID
:Pub/Sub 主題的名稱或 ID。RESOURCE_GROUP
:Azure Event Hubs 資源群組的名稱,其中包含要擷取至 Pub/Sub 的 Azure Event Hubs 命名空間。NAMESPACE
:Azure Event Hubs 命名空間的名稱,其中包含要擷取至 Pub/Sub 的 Azure 事件中樞。EVENT_HUB
:您要擷取至 Pub/Sub 的 Azure 事件中樞名稱。CLIENT_ID
:Azure 中已註冊應用程式的應用程式 (用戶端) ID,其中包含Google Cloud 服務帳戶的聯盟身分。這個值應為 UUID。詳情請參閱 Azure 應用程式註冊頁面。TENANT_ID
:擁有您要擷取至 Pub/Sub 的 Azure 事件中樞的租用戶目錄 (租用戶) ID。這個值應為 UUID。如要找出用戶群 ID,請參閱 Azure 取得訂閱和用戶群 ID 頁面。SUBSCRIPTION_ID
:擁有您要擷取至 Pub/Sub 的 Azure 事件中樞的訂閱 ID。這個值應為 UUID。如要找出訂閱 ID,請參閱「取得 Azure 訂閱和用戶群 ID」。SERVICE_ACCOUNT
:您在「在 Google Cloud中建立服務帳戶」中建立的服務帳戶
配額與限制
匯入主題的發布者傳送量受限於主題的發布配額。詳情請參閱「Pub/Sub 配額和限制」。
後續步驟
為主題選擇訂閱類型。
瞭解如何將訊息發布至主題。
使用 gcloud CLI、REST API 或用戶端程式庫建立或修改主題。