需求條件

Datastream 提供多種來源選項、目的地選項和網路連線方法。

在本快速入門導覽課程中，我們假設您使用的是獨立的 Oracle 資料庫和目標 Cloud Storage 服務。針對來源資料庫，您應該可以設定網路來新增入站防火牆規則。來源資料庫可位於內部部署系統中，或雲端服務供應商的系統中。由於目的地是 Cloud Storage，因此應位於 Google 的雲端服務供應商中。

由於我們無法得知您的環境詳細資訊，因此無法提供網路設定的詳細步驟。

在本快速入門導覽課程中，您將選取「IP 許可清單」做為連線方式。IP 許可清單是一種安全性功能，通常用於限制及控管來源資料庫中資料的存取權，只允許信任的使用者存取。您可以使用 IP 許可清單建立可信任的 IP 位址或 IP 範圍清單，讓使用者和其他雲端服務 (例如 Datastream) 存取這項資料。如要使用 IP 許可清單，您必須開放來源資料庫或防火牆，允許來自 Datastream 的傳入連線。

建立連線設定檔

為來源資料庫和目的地建立連線設定檔，即可建立包含來源和目的地相關資訊的記錄。

在本快速入門課程中，您會選取「Oracle」做為來源連線設定檔的設定檔類型，並選取「Cloud Storage」做為目標連線設定檔的設定檔類型。Datastream 會使用連線設定檔中的資訊，將資料從 Oracle 來源資料庫遷移至 Cloud Storage 中的目的地值區。

為 Oracle 資料庫建立來源連線設定檔

1. 在 Google Cloud 控制台中，前往 Datastream 的「Connection profiles」(連線設定檔) 頁面。

   前往「連線設定檔」頁面

2. 按一下「建立設定檔」。

3. 在「建立連線設定檔」頁面中，按一下「Oracle」設定檔類型 (因為您要為 Oracle 資料庫建立來源連線設定檔)。

4. 在「Create Oracle profile」頁面的「Define connection settings」部分提供下列資訊：

   • 輸入 My Source Connection Profile 做為來源資料庫的連線設定檔名稱。
   • 保留系統自動產生的連線設定檔 ID。

   • 選取要儲存連線設定檔的區域。

   • 輸入連線詳細資料：

     • 在「主機名稱或 IP」欄位中，輸入 Datastream 可用來連線至來源 Oracle 資料庫的主機名稱或公開 IP 位址。您提供公開 IP 位址，是因為IP 許可清單將用於本快速入門導覽課程的網路連線方式。
     • 在「Port」欄位中，輸入用於來源資料庫的通訊埠號碼。對於 Oracle 資料庫，預設通訊埠通常為 1521。
     • 輸入使用者名稱和密碼，驗證來源資料庫。
     • 在「System identifier (SID)」欄位中，輸入可用於識別資料庫執行個體的 SID 或服務名稱。對於 Oracle 資料庫，這個值通常為 ORCL。

5. 在「定義連線設定」部分中，按一下「繼續」。「Create Oracle profile」頁面中的「Define connectivity method」部分已啟用。

6. 請選擇要用來建立 Datastream 與來源資料庫之間連線的網路方法。在本快速入門課程中，請使用「連線方式」下拉式選單，選取「IP 許可清單」做為網路連線方式。

7. 將來源資料庫設為接受來自顯示的 Datastream 公開 IP 位址的連入連線。

8. 在「Define connectivity method」部分，按一下「CONTINUE」。「Create Oracle profile」頁面中的「Test connection profile」部分已啟用。

9. 點選「執行測試」，確認來源 Oracle 資料庫和 Datastream 可以相互通訊。

10. 確認畫面顯示「測試已通過」狀態。

11. 如果測試失敗，您可以在流程的適當部分解決問題，然後返回重新測試。如要瞭解疑難排解步驟，請參閱「診斷問題」頁面。

12. 點選「建立」。

建立 Cloud Storage 目的地連線設定檔

1. 在 Google Cloud 控制台中，前往 Datastream 的「Connection profiles」(連線設定檔) 頁面。

   前往「連線設定檔」頁面

2. 按一下「建立設定檔」。

3. 在「建立連線設定檔」頁面中，點選「Cloud Storage」設定檔類型 (因為您要為 Cloud Storage 建立目的地連線設定檔)。

4. 在「Create Cloud Storage profile」(建立 Cloud Storage 設定檔) 頁面中提供下列資訊：

   • 輸入 My Destination Connection Profile 做為目標 Cloud Storage 服務的連線設定檔名稱。
   • 保留系統自動產生的連線設定檔 ID。
   • 選取要儲存連線設定檔的區域。
   • 在「連線詳細資料」窗格中，按一下「瀏覽」。

   • 在「Select bucket」(選取值區)窗格中，選取 Cloud Storage 中的目的地值區，Datastream 就會從來源資料庫傳輸資料至該值區，然後按一下「SELECT」。

     您的值區會顯示在「Create Cloud Storage profile」頁面的「Bucket name」欄位中。

   • 您可以視需要在「連線設定檔路徑前置字串」欄位中提供路徑前置字串，這個字串會在 Datastream 將資料傳輸至目的地時，附加至值區名稱。

5. 點選「建立」。

建立 Oracle 資料庫的來源連線設定檔和 Cloud Storage 的目的地連線設定檔後，您就可以使用這些設定檔建立串流。

建立串流

在本節中，您將建立串流。Datastream 會使用這個串流，將資料從 Oracle 來源資料庫傳輸至 Cloud Storage 中的目標值區。

建立串流的步驟包括：

• 定義串流的設定。
• 選取您為來源資料庫建立的連線設定檔 (來源連線設定檔)。在本快速入門課程中，這會是「我的來源連線設定檔」。
• 在 Datastream 的來源資料庫中指定資料表和結構定義，藉此設定串流的來源資料庫相關資訊：
  • 可轉移至目的地。
  • 無法轉乘至目的地。
• 決定 Datastream 是否會補充歷來資料，以及是否會將持續變更串流至目的地，或是只串流資料的變更。
• 選取為 Cloud Storage 建立的連線設定檔 (目的地連線設定檔)。在本快速入門導覽課程中，這會是「我的目的地連線設定檔」。
• 設定串流的目的地資料夾相關資訊。這些資訊包括：
  • 目的地儲存桶的資料夾，Datastream 會將來源 Oracle 資料庫的結構定義、資料表和資料轉移至此。
  • 寫入 Cloud Storage 的檔案輸出格式。Datastream 支援兩種輸出格式：Avro 和 JSON。在本快速入門中，檔案格式為 Avro。

定義串流的設定

1. 前往 Google Cloud 控制台的 Datastream「Streams」(串流) 頁面。

   前往「串流」頁面

2. 按一下「建立串流」。

3. 在「建立串流」頁面的「定義串流詳細資料」面板中，提供下列資訊：

   • 輸入 My Stream 做為「串流名稱」。
   • 保留系統自動產生的「串流 ID」。
   • 在「Region」選單中，選取您建立來源連線設定檔的區域。
   • 在「Source type」選單中，選取「Oracle」設定檔類型。
   • 在「目的地類型」選單中，選取「Cloud Storage」設定檔類型。

4. 查看系統自動產生的必要條件，瞭解環境必須如何準備串流。這些必要條件包括如何設定來源資料庫，以及如何將 Datastream 連結至 Cloud Storage 中的目標值區。

5. 按一下「繼續」。「Create stream」頁面的「Define Oracle connection profile」面板隨即顯示。

指定來源連線設定檔的相關資訊

1. 在「Source connection profile」(來源連線設定檔) 選單中，選取 Oracle 資料庫的來源連線設定檔。

2. 點選「執行測試」，確認來源資料庫和 Datastream 可以相互通訊。

   如果測試失敗，系統會顯示與連線設定檔相關的問題。如要瞭解疑難排解步驟，請參閱「診斷問題」頁面。進行必要變更來修正問題，然後重新測試。

3. 按一下「繼續」。「Create stream」頁面的「Configure stream source」面板隨即顯示。

設定串流的來源資料庫相關資訊

1. 使用「Objects to include」(要包含的物件) 選單，指定 Datastream 可將來源資料庫中的資料表和結構定義轉移至 Cloud Storage 中目的地值區的資料夾。只有在資料庫中最多有 5,000 個物件時，系統才會載入選單。

   在本快速入門導覽課程中，您希望 Datastream 轉移所有資料表和結構定義。因此，請從選單中選取「採用任何結構定義的所有資料表」。

2. 指定 CDC 方法。在本教學課程中，請選取「Logminer」。

3. 按一下「繼續」。「Create stream」頁面隨即顯示「Define Cloud Storage connection profile」面板。

選取目的地連線設定檔

1. 在「destination connection profile」選單中，選取 Cloud Storage 的目的地連線設定檔。

2. 按一下「繼續」。「Create stream」頁面隨即顯示「Configure stream destination」面板。

設定串流目的地的相關資訊

1. 在「串流路徑前置字串」欄位中，輸入目的地值區的資料夾，Datastream 會將結構定義、資料表和資料從 Oracle 來源資料庫移轉至此。

   在這個快速入門課程中，您希望 Datastream 將資料從來源資料庫傳輸至 Cloud Storage 目的地值區中的 /root/tutorial 資料夾。因此，請在「Stream path prefix」欄位中輸入 /root/tutorial。

2. 在「輸出格式」欄位中，選取寫入 Cloud Storage 的檔案格式。在本快速入門中，檔案格式為 Avro。

3. 按一下「繼續」。「Create stream」頁面隨即顯示「Review stream details and create」面板。

建立串流

1. 確認串流的詳細資料，以及串流將用來將資料從來源 Oracle 資料庫傳輸至 Cloud Storage 目的地值區的來源和目的地連線設定檔。

2. 按一下「執行驗證」，驗證串流。驗證串流時，Datastream 會檢查來源是否已正確設定、驗證串流是否可連線至來源和目的地，並驗證串流的端對端設定。

3. 通過所有驗證檢查後，按一下「建立」。

4. 在「Create stream?」對話方塊中，按一下「CREATE」。

建立串流後，您就可以啟動串流。

開始串流

在快速入門的上一節中，您已建立串流，但尚未啟動。您現在可以這麼做。

在本快速入門課程中，您將分別建立及啟動串流，以免串流建立程序導致來源資料庫的負載增加。如要延遲該負載，請建立串流但不要啟動，然後在可產生負載時啟動串流。

啟動串流後，Datastream 就能將資料、結構定義和資料表從來源資料庫轉移至目的地。

1. 前往 Google Cloud 控制台的 Datastream「Streams」(串流) 頁面。

   前往「串流」頁面

2. 找出要啟動的串流，然後勾選左側的核取方塊。在本快速入門導覽課程中，這會是「我的串流」。

3. 按一下 [START] (開始)。

4. 在對話方塊中按一下「開始」。串流的狀態會從 Not started 變更為 Starting，再變更為 Running。

啟動串流後，您可以確認 Datastream 是否已將資料從來源資料庫轉移至目的地。

驗證串流

在本節中，您會確認 Datastream 將資料從來源 Oracle 資料庫的所有資料表轉移至 Cloud Storage 目的地值區的 /root/tutorial 資料夾。

1. 前往 Google Cloud 控制台的 Datastream「Streams」(串流) 頁面。

   前往「串流」頁面

2. 按一下你建立的串流。在本快速入門導覽課程中，這會是「我的串流」。

3. 在「串流詳情」頁面中，按一下「目的地寫入路徑」欄位下方的連結。Cloud Storage 的「值區詳細資料」頁面會在另一個分頁中開啟。

4. 確認您看見代表來源 Oracle 資料庫資料表的資料夾。

5. 按一下其中一個資料表資料夾，然後深入查看，直到看到與資料表相關聯的資料。