部署 Datastream 和 Dataflow 來執行數據分析

需求條件

Datastream 提供多種來源選項、目的地選項和網路連線方法。

在本教學課程中，我們假設您使用的是獨立 MySQL 資料庫和目的地 Cloud Storage 服務。針對來源資料庫，您應該可以設定網路來新增傳入防火牆規則。來源資料庫可位於內部部署系統中，或雲端服務供應商的系統中。對於 Cloud Storage 目的地，您不需要進行連線設定。

由於我們無法得知您的環境詳細資訊，因此無法提供網路設定的詳細步驟。

在本教學課程中，您會選取「IP 許可清單」做為網路連線方式。IP 許可清單是一種安全性功能，通常用於限制及控管來源資料庫中資料的存取權，只允許信任的使用者存取。您可以使用 IP 許可清單建立可信任 IP 位址或 IP 範圍的清單，讓使用者和其他服務 (例如 Datastream) 可以存取這項資料。 Google Cloud 如要使用 IP 許可清單，您必須開放來源資料庫或防火牆，允許來自 Datastream 的傳入連線。

在 Cloud Storage 中建立值區

在 Cloud Storage 中建立目的地值區，讓 Datastream 從來源 MySQL 資料庫串流傳輸結構定義、資料表和資料。

1. 在 Google Cloud 控制台，前往 Cloud Storage 的「Browser」(瀏覽器) 頁面。

   前往「Browser」(瀏覽器) 頁面

2. 按一下「建立值區」。「Create a bucket」(建立值區) 頁面隨即顯示。

3. 在「為值區命名」區域的文字欄位中，輸入值區的專屬名稱，然後按一下「繼續」。

4. 接受網頁中其餘區域的預設設定。在每個區域結束時，按一下「繼續」。

5. 按一下 [建立]。

為 Cloud Storage 值區啟用 Pub/Sub 通知

在本節中，您將為所建立的 Cloud Storage 值區啟用 Pub/Sub 通知。這樣做可讓您設定值區，以便在 Datastream 將任何新檔案寫入值區時，通知 Dataflow。這些檔案包含 Datastream 從來源 MySQL 資料庫串流至儲存桶的資料變更。

1. 存取您建立的 Cloud Storage 值區。「Bucket details」頁面隨即顯示。

2. 按一下 terminal「Activate Cloud Shell」(啟用 Cloud Shell)。

3. 在提示中輸入下列指令：

   gcloud storage buckets notifications create gs://bucket-name --topic=my_integration_notifs --payload-format=json --object-prefix=integration/tutorial/

4. 選用：如果系統顯示「Authorize Cloud Shell」視窗，請按一下「Authorize」。

5. 確認您看到以下程式碼行：

   Created Cloud Pub/Sub topic projects/project-name/topics/my_integration_notifs
   Created notification config projects/_/buckets/bucket-name/notificationConfigs/1
   

6. 在 Google Cloud 控制台中，前往 Pub/Sub 的「主題」頁面。

   前往「Topics」(主題) 頁面

7. 按一下您建立的 my_integration_notifs 主題。

8. 在 my_integration_notifs 頁面中，捲動至頁面底部。確認「訂閱項目」分頁處於啟用狀態，且畫面上顯示「沒有可顯示的訂閱項目」訊息。

9. 按一下「Create Subscription」 (建立訂閱項目)。

10. 在隨即顯示的選單中，選取「建立訂閱項目」。

11. 在「將訂閱項目新增至主題」頁面中：

    1. 在「Subscription ID」(訂閱項目 ID) 欄位中輸入 my_integration_notifs_sub。
    2. 將「Acknowledgement deadline」(確認期限) 值設為 120 秒。這樣 Dataflow 就能有足夠的時間確認已處理的檔案，並有助於改善 Dataflow 工作整體效能。如要進一步瞭解 Pub/Sub 訂閱屬性，請參閱「訂閱屬性」。
    3. 保留頁面上的所有其他預設值。
    4. 按一下 [建立]。

在本教學課程稍後的部分，您將建立 Dataflow 工作。建立這項工作時，您會將 Dataflow 指派為 my_integration_notifs_sub 訂閱項目的訂閱者。這樣一來，Dataflow 就能收到 Datastream 寫入 Cloud Storage 的新檔案通知，並處理這些檔案，然後將資料變更傳輸至 BigQuery。

在 BigQuery 中建立資料集

在本節中，您將在 BigQuery 中建立資料集。BigQuery 會使用資料集來容納從 Dataflow 接收的資料。這項資料代表 Datastream 串流至 Cloud Storage 值區的來源 MySQL 資料庫中的變更。

1. 前往 Google Cloud 控制台的「BigQuery」頁面，然後前往「SQL 工作區」頁面。

   前往「SQL 工作區」頁面

2. 在「Explorer」窗格中，按一下 Google Cloud 專案名稱旁的 more_vert 「查看動作」。

3. 在隨即顯示的選單中，選取「建立資料集」。

4. 在「建立資料集」視窗中：

   1. 在「資料集 ID」欄位中，輸入資料集 ID。在本教學課程中，請在欄位中輸入 My_integration_dataset_log。
   2. 請保留畫面中的所有其他預設值。
   3. 點選「建立資料集」。

5. 在「Explorer」窗格中，點選 Google Cloud 專案名稱旁的 arrow_right 「Expand node」，然後確認您是否看到自己建立的資料集。

6. 請按照這個程序中的步驟建立第二個資料集：My_integration_dataset_final。

7. 展開每個資料集旁的 arrow_right 「Expand node」。

8. 確認每個資料集都為空白。

在 Datastream 將資料變更串流從來源資料庫傳送至 Cloud Storage 值區後，Dataflow 工作會處理包含變更的檔案，並將變更轉移至 BigQuery 資料集。

在 Datastream 中建立連線設定檔

在本節中，您將在 Datastream 中為來源資料庫和目的地建立連線設定檔。建立連線設定檔時，請選取「MySQL」做為來源連線設定檔的設定檔類型，並選取「Cloud Storage」做為目標連線設定檔的設定檔類型。

Datastream 會使用連線設定檔中定義的資訊，連線至來源和目的地，以便將來源資料庫中的資料串流至 Cloud Storage 中的目的地值區。

為 MySQL 資料庫建立來源連線設定檔

1. 在 Google Cloud 控制台中，前往 Datastream 的「Connection profiles」(連線設定檔) 頁面。

   前往「連線設定檔」頁面

2. 按一下 Create profile。

3. 如要為 MySQL 資料庫建立來源連線設定檔，請在「Create a connection profile」(建立連線設定檔) 頁面中，點選「MySQL」設定檔類型。

4. 在「建立 MySQL 設定檔」頁面的「定義連線設定」部分中，提供下列資訊：

   • 在「連線設定檔名稱」欄位中輸入 My Source Connection Profile。
   • 保留系統自動產生的連線設定檔 ID。

   • 選取要儲存連線設定檔的區域。

   • 輸入連線詳細資料：

     • 在「主機名稱或 IP」欄位中，輸入 Datastream 可用來連線至來源資料庫的主機名稱或公開 IP 位址。您提供公開 IP 位址，是因為您在本教學課程中使用IP 許可清單做為網路連線方式。
     • 在「Port」欄位中，輸入用於來源資料庫的通訊埠號碼。對於 MySQL 資料庫，預設通訊埠通常為 3306。
     • 輸入使用者名稱和密碼，驗證來源資料庫。

5. 在「定義連線設定」部分中，按一下「繼續」。「Create MySQL profile」頁面中的「Secure your connection to your source」部分已啟用。

6. 在「加密類型」選單中，選取「無」。如要進一步瞭解這個選單，請參閱「為 MySQL 資料庫建立連線設定檔」。

7. 在「保護與來源的連線」部分，按一下「繼續」。「Create MySQL profile」頁面中的「Define connectivity method」部分已啟用。

8. 在「連線方法」下拉式選單中，選擇要用來建立 Datastream 與來源資料庫之間連線的網路連線方法。在本教學課程中，請選取「IP 許可清單」做為連線方式。

9. 將來源資料庫設為接受來自顯示的 Datastream 公開 IP 位址的連入連線。

10. 在「定義連線方式」部分中，按一下「繼續」。「Create MySQL profile」頁面中的「Test connection profile」部分已啟用。

11. 點選「Run test」，確認來源資料庫和 Datastream 可以相互通訊。

12. 確認您看到「測試通過」狀態。

13. 按一下 [建立]。

建立 Cloud Storage 目的地連線設定檔

1. 在 Google Cloud 控制台中，前往 Datastream 的「Connection profiles」(連線設定檔) 頁面。

   前往「連線設定檔」頁面

2. 按一下 Create profile。

3. 如要為 Cloud Storage 建立目的地連線設定檔，請在「Create a connection profile」(建立連線設定檔) 頁面中，點選「Cloud Storage」設定檔類型。

4. 在「Create Cloud Storage profile」(建立 Cloud Storage 設定檔) 頁面中，提供下列資訊：

   • 在「連線設定檔名稱」欄位中輸入 My Destination Connection Profile。
   • 保留系統自動產生的連線設定檔 ID。
   • 選取要儲存連線設定檔的區域。

   • 在「Connection details」窗格中，按一下「Browse」，選取您在本教學課程稍早建立的 Cloud Storage 值區。這是 Datastream 將資料從來源資料庫轉移至的 bucket。選取所需項目後，按一下「選取」。

     值區會顯示在「連線詳細資料」窗格的「值區名稱」欄位中。

   • 在「連線設定檔路徑前置字串」欄位中，提供路徑前置字串，以便在 Datastream 將資料串流至目的地時，附加至值區名稱。請確認 Datastream 將資料寫入值區內的路徑，而非值區根目錄。在本教學課程中，請使用您設定 Pub/Sub 通知時定義的路徑。在欄位中輸入 /integration/tutorial。

5. 按一下 [建立]。

為 MySQL 資料庫建立來源連線設定檔，以及 Cloud Storage 的目的地連線設定檔後，即可使用這些設定檔建立串流。

在 Datastream 中建立串流

在本節中，您將建立串流。這個串流會使用連線設定檔中的資訊，將資料從來源 MySQL 資料庫傳輸至 Cloud Storage 中的目的地值區。

定義串流的設定

1. 在 Google Cloud 控制台中，前往 Datastream 的「Streams」頁面。

   前往「串流」頁面

2. 按一下 [建立訊息串]。

3. 在「建立串流」頁面的「定義串流詳細資料」面板中，提供下列資訊：

   • 在「Stream name」(串流名稱) 欄位中輸入 My Stream。
   • 保留系統自動產生的「串流 ID」。
   • 在「Region」選單中，選取您建立來源和目的地連線設定檔的區域。
   • 在「Source type」選單中，選取「MySQL」設定檔類型。
   • 在「目的地類型」選單中，選取「Cloud Storage」設定檔類型。

4. 查看系統自動產生的必要條件，瞭解環境必須如何準備串流。這些必要條件包括如何設定來源資料庫，以及如何將 Datastream 連結至 Cloud Storage 中的目標值區。

5. 按一下「繼續」。「Create stream」頁面隨即顯示「Define MySQL connection profile」面板。

指定來源連線設定檔的相關資訊

在這個部分，您會選取為來源資料庫建立的連線設定檔 (來源連線設定檔)。在本教學課程中，這個值為「My Source Connection Profile」。

1. 在「Source connection profile」選單中，選取 MySQL 資料庫的來源連線設定檔。

2. 點選「Run test」，確認來源資料庫和 Datastream 可以相互通訊。

   如果測試失敗，系統會顯示與連線設定檔相關的問題。如要瞭解疑難排解步驟，請參閱「診斷問題」頁面。進行必要變更來修正問題，然後重新測試。

3. 按一下「繼續」。「Create stream」頁面的「Configure stream source」面板隨即顯示。

設定串流的來源資料庫相關資訊

在本節中，您將指定 Datastream 來源資料庫中的資料表和結構定義，藉此設定串流的來源資料庫相關資訊：

• 可轉移至目的地。
• 無法轉乘至目的地。

您也可以決定 Datastream 是否要補充歷來資料，以及是否要將持續變更的資料串流至目的地，或是只串流資料的變更。

1. 使用「Objects to include」(要包含的物件) 選單，指定 Datastream 可將來源資料庫中的資料表和結構定義轉移至 Cloud Storage 中目的地值區的資料夾。只有在資料庫中最多有 5,000 個物件時，系統才會載入選單。

   在本教學課程中，您要讓 Datastream 轉移所有資料表和結構定義。因此，請從選單中選取「採用任何結構定義的所有資料表」。

2. 確認「Select objects to exclude」面板已設為「None」。您不想限制 Datastream 將來源資料庫中的任何資料表和結構轉移至 Cloud Storage。

3. 確認「Choose backfill mode for historical data」 面板已設為「Automatic」。除了資料變動外，Datastream 也會從來源串流所有現有資料至目的地。

4. 按一下「繼續」。「Create stream」頁面隨即顯示「Define Cloud Storage connection profile」面板。

選取目的地連線設定檔

在本節中，您會選取為 Cloud Storage 建立的連線設定檔 (目的地連線設定檔)。在本教學課程中，這會是「我的目的地連線設定檔」。

1. 在「Destination connection profile」選單中，選取 Cloud Storage 的目的地連線設定檔。

2. 按一下「繼續」。「Create stream」頁面隨即顯示「Configure stream destination」面板。

設定串流目的地的相關資訊

在本節中，您將設定串流的目的值區相關資訊。這類資訊包括：

• 寫入 Cloud Storage 的檔案輸出格式。
• 目的地資料夾的資料夾，Datastream 會將來源資料庫的結構定義、資料表和資料轉移至此資料夾。

1. 在「輸出格式」欄位中，選取寫入 Cloud Storage 的檔案格式。Datastream 支援兩種輸出格式：Avro 和 JSON。在本教學課程中，檔案格式為 Avro。

2. 按一下「繼續」。「Create stream」頁面隨即顯示「Review stream details and create」面板。

建立串流

1. 確認串流的詳細資料，以及串流用來將資料從來源 MySQL 資料庫傳輸至 Cloud Storage 目的地值區的來源和目的地連線設定檔。

2. 如要驗證串流，請按一下「Run validation」。驗證串流時，Datastream 會檢查來源是否已正確設定、驗證串流是否可連線至來源和目的地，並驗證串流的端對端設定。

3. 通過所有驗證檢查後，按一下「建立」。

4. 在「Create stream?」對話方塊中，按一下「Create」。

開始串流

在本教學課程中，您會分別建立及啟動串流，以免串流建立程序導致來源資料庫的負載增加。如要延遲這項負載，請建立資料流，但不要立即啟動，然後在資料庫可處理負載時啟動資料流。

啟動串流後，Datastream 就能將資料、結構定義和資料表從來源資料庫轉移至目的地。

1. 在 Google Cloud 控制台中，前往 Datastream 的「Streams」頁面。

   前往「串流」頁面

2. 找出要啟動的串流，然後勾選旁邊的核取方塊。在本教學課程中，這會是「我的串流」。

3. 按一下「啟動」。

4. 在對話方塊中按一下「開始」。串流的狀態會從 Not started 變更為 Starting，再變更為 Running。

啟動串流後，您可以確認 Datastream 是否已將資料從來源資料庫轉移至目的地。

驗證串流

在本節中，您會確認 Datastream 將來源 MySQL 資料庫的所有資料表轉移至 Cloud Storage 目的地值區的 /integration/tutorial 資料夾。

1. 在 Google Cloud 控制台中，前往 Datastream 的「Streams」頁面。

   前往「串流」頁面

2. 按一下你建立的串流。在本教學課程中，這會是「我的串流」。

3. 在「串流詳細資料」頁面中，按一下「bucket-name/integration/tutorial」連結，其中 bucket-name 是您為 Cloud Storage 值區指定的名稱。這個連結會顯示在「Destination write path」欄位後方。Cloud Storage 的「值區詳細資料」頁面會在另一個分頁中開啟。

4. 確認您看見代表來源資料庫資料表的資料夾。

5. 按一下其中一個表格資料夾，然後點選每個子資料夾，直到看到與表格相關聯的資料為止。

建立 Dataflow 工作

在本節中，您將在 Dataflow 中建立工作。當 Datastream 將資料變更從來源 MySQL 資料庫串流至 Cloud Storage 值區後，Pub/Sub 就會傳送通知給 Dataflow，說明包含變更的新檔案。Dataflow 工作會處理檔案，並將變更轉移至 BigQuery。

1. 在 Google Cloud 控制台中，前往 Dataflow 的「Jobs」頁面。

   前往「Jobs」(工作) 頁面

2. 按一下 [Create job from template] (利用範本建立工作)。

3. 在「Create job from template」頁面的「Job name」欄位中，輸入要建立的 Dataflow 工作名稱。在本教學課程中，請在欄位中輸入 my-dataflow-integration-job。

4. 從「Regional endpoint」選單中，選取要儲存工作的區域。這個區域與您建立的來源連線設定檔、目的地連線設定檔和串流所選的區域相同。

5. 在「Dataflow template」(資料流範本) 選單中，選取用於建立工作的範本。在本教學課程中，請選取「Datastream to BigQuery」(Datastream 到 BigQuery)。

   選取後，畫面上就會顯示與這個範本相關的其他欄位。

6. 在「Cloud Storage 中 Datastream 檔案輸出檔案位置」欄位中，使用以下格式輸入 Cloud Storage 值區名稱：gs://bucket-name。

7. 在「Cloud Storage 通知政策中使用的 Pub/Sub 訂閱」欄位中，輸入包含 Pub/Sub 訂閱名稱的路徑。在本教學課程中，請輸入 projects/project-name/subscriptions/my_integration_notifs_sub。

8. 在「Datastream 輸出檔案格式 (avro/json)」欄位中輸入 avro，因為在本教學課程中，Datastream 寫入 Cloud Storage 的檔案格式為 Avro。

9. 在「資料集的名稱或範本，用於包含暫存資料表」欄位中輸入 My_integration_dataset_log，因為 Dataflow 會使用這個資料集，將從 Datastream 收到的資料變更暫存起來。

10. 在「資料集的範本，用於包含複本資料表」欄位中輸入 My_integration_dataset_final，因為這是資料集，其中會合併 My_integration_dataset_log 資料集中的變更，以便建立來源資料庫中資料表的一對一複本。

11. 在「死信佇列目錄」欄位中，輸入包含 Cloud Storage 值區名稱和死信佇列資料夾的路徑。請確認您沒有使用根資料夾中的路徑，且路徑與 Datastream 寫入資料的路徑不同。任何 Dataflow 無法轉移至 BigQuery 的資料變更都會儲存在佇列中。您可以修正佇列中的內容，讓 Dataflow 重新處理。

    在本教學課程中，請在「死信佇列目錄」欄位中輸入 gs://bucket-name/dlq (其中 bucket-name 是值區的名稱，而 dlq 是死信佇列的資料夾)。

12. 按一下「Run Job」(執行工作)。

驗證整合

在本教學課程的「驗證串流」一節中，您已確認 Datastream 將來源 MySQL 資料庫的所有資料轉移至 Cloud Storage 目的地值區的 /integration/tutorial 資料夾。

在本節中，您將驗證 Dataflow 是否處理含有與此資料相關聯變更內容的檔案，並將變更內容轉移至 BigQuery。因此，Datastream 和 BigQuery 之間可進行端對端整合。

1. 在 Google Cloud 控制台中，前往 BigQuery 的「SQL 工作區」頁面。

   前往「SQL 工作區」頁面

2. 在「Explorer」窗格中，展開「 Google Cloud 」專案名稱旁的節點。

3. 展開「My_integration_dataset_log」和「My_integration_dataset_final」資料集旁的節點。

4. 確認每個資料集現在都包含資料。這表示 Dataflow 已處理含有與 Datastream 串流至 Cloud Storage 的資料相關聯變更的檔案，並將這些變更轉移至 BigQuery。