外掛程式類型

本頁面說明建立 Cloud Data Fusion 執行個體時,預設會安裝的外掛程式類型。這些外掛程式可用於執行個體的預設命名空間,以及您建立的任何新命名空間。你可以從 Hub 下載其他外掛程式。

在 Cloud Data Fusion 中,外掛程式分為下列類別:這些資料會顯示在 Cloud Data Fusion「Studio」頁面的左側面板。

來源

來源外掛程式會連結至資料管道讀取資料的資料庫、檔案或即時串流。您可以使用網頁介面設定資料管道的來源,因此不必使用程式碼設定低層級連線。

轉換

轉換外掛程式會在資料從來源載入後進行變更。舉例來說,您可以使用這些外掛程式複製記錄、將檔案格式變更為 JSON,或使用 JavaScript 建立自訂轉換。

數據分析

數據分析外掛程式可執行匯總作業,例如從不同來源彙整資料,以及執行數據分析和機器學習作業。

接收器

接收器外掛程式會將資料寫入資源,例如 Cloud Storage、BigQuery、Spanner、關聯資料庫、檔案系統和大型主機。您可以使用 Cloud Data Fusion 網頁介面或 REST API 查詢寫入接收器的資料。

條件和動作

條件和動作外掛程式會排定工作流程期間要執行的動作,但不會直接操縱工作流程中的資料。

用途範例:

  • 將資料庫動作外掛程式新增至管道,即可排定在管道結束時執行資料庫指令。
  • 將檔案移動外掛程式新增至管道,觸發在 Cloud Storage 內移動檔案的動作。

錯誤處理常式和警示

管道階段遇到空值、邏輯錯誤或其他錯誤時,錯誤處理常式外掛程式會捕捉這些錯誤。使用這些外掛程式,即可在管道中轉換或分析外掛程式後的輸出內容中找出錯誤。您可以將錯誤寫入資料庫進行分析。

後續步驟