管理串流物件的補充作業

Datastream 中的串流可以補充歷來資料,並將持續變更的資料串流至目的地。建立串流時,您設定了串流的來源資料庫相關資訊

如果您選取「補充歷來資料」核取方塊,Datastream 就會從來源串流所有現有資料 (除了資料變更) 至目的地。

如果您未勾選這個核取方塊,Datastream 只會串流資料的變更內容。如要讓 Datastream 從來源串流所有現有資料的快照至目的地,您必須為包含這項資料的物件啟動補充作業。這些物件以資料庫結構定義、資料表和資料欄的形式呈現。

另一個啟動物件補充作業的原因,是當來源和目的地之間的資料不同步時。舉例來說,使用者可能會不小心刪除目的地中的資料,導致資料遺失。在這種情況下,啟動物件的補充作業會做為「重設機制」,因為所有資料都會一次串流至目的地。因此,資料會在來源和目的地之間同步。

啟動物件補充作業後,您可以停止補充作業。在上述範例中,使用者修改了資料庫結構定義,導致結構定義或資料損毀。您不希望這項結構定義或資料串流至目的地,因此請停止為物件進行回填。

您也可以停止物件的回填作業,以便負載平衡。Datastream 可以並行執行多個回填作業。這可能增加來源的負載。如果負載量太大,請停止物件的補充作業,然後逐一啟動補充作業。

物件狀態

啟動和停止物件補充作業的生命週期中,會出現以下各種狀態:

  • 無狀態 (在 UI 中以 - 表示):物件會收到此狀態的原因包括:
    • 未啟動串流。
    • 未選取「補充歷來資料」核取方塊 (因此補充作業會定義為手動)。
    • 系統會明確將該物件從自動補充作業中排除。
    • 這項串流已設定為包含未來的資料表。發生這種情況時,當新資料表新增至來源時,系統不會為這些資料表建立自動回填工作 (因為新資料表通常沒有任何要回填的「歷來資料」)。

      詳情請參閱「設定串流的來源資料庫相關資訊」。

  • Pending: 物件尚未開始補充。
  • Active: 物件正在進行補充作業。
  • Completed: 物件的補充作業已完成。
  • Stopped: 已停止物件的補充作業。如果再次為物件啟動補充作業,Datastream 會從來源串流所有與物件相關聯的現有資料,並將其傳送至目的地。
  • Failed: 物件補充作業失敗,必須再次啟動補充作業。

啟動補充作業

  1. 前往 Google Cloud 控制台的「Streams」頁面。

    前往「串流」頁面

  2. 按一下包含要啟動回填作業的物件所在的串流。

  3. 按一下「物件」分頁標籤。

  4. 找出要啟動回填作業的每個物件,然後勾選對應的核取方塊。

  5. 按一下「啟動填補」

  6. 如果您只選取一個物件,請在對話方塊中按一下「INITIATE OBJECT BACKFILL」。否則,如果您選取多個物件,請按一下「啟動物件回填」

    Datastream 會開始為所選物件進行補充作業,每個物件的狀態會從 Pending 變更為 Active,再變更為 Completed。如果物件狀態為 Completed,表示 Datastream 已讀取物件的所有資料,但資料可能仍在載入至目的地。

停止補充作業

  1. 前往 Google Cloud 控制台的「Streams」頁面。

    前往「串流」頁面

  2. 按一下要停止填補的物件所在的資料流。

  3. 按一下「物件」分頁標籤。

  4. 找出要停止回填的每個物件,然後勾選對應的核取方塊。

  5. 按一下「停止回填」

  6. 如果您只選取一個物件,請在對話方塊中按一下「STOP OBJECT BACKFILL」。否則,如果您選取多個物件,請按一下「停止物件回填」

    Datastream 會停止為所選物件進行補充,每個物件的狀態都會變更為 Stopped

    物件處於這個狀態時,系統會停止為該物件執行補充作業。如果再次為物件啟動補充作業,Datastream 會從來源串流所有與物件相關聯的現有資料,並將其傳送至目的地。

後續步驟

  • 如要進一步瞭解串流,請參閱「串流生命週期」。
  • 如要瞭解如何查看串流資訊,請參閱「查看串流」。
  • 如要瞭解如何修改串流,請參閱「修改串流」。
  • 如要瞭解如何監控串流,請參閱「監控串流」。
  • 如要瞭解如何復原失敗的串流,請參閱「復原串流」。