外掛程式總覽

在 Cloud Data Fusion 中建立資料管道時，您會使用一系列的階段 (稱為節點)，在資料從來源流向接收器的過程中移動及管理資料。每個節點都包含一個外掛程式，也就是可自訂的模組，可擴充 Cloud Data Fusion 的功能。

您可以前往 Studio 頁面，在 Cloud Data Fusion 網頁介面中找到外掛程式。如要查看更多外掛程式，請按一下「Hub」。

外掛程式類型

外掛程式可分為下列類別：

• 來源
• 轉換
• 數據分析
• 接收器
• 條件和動作
• 錯誤處理常式和警示

來源

來源外掛程式可連結至資料庫、檔案或即時串流，管道會從這些來源讀取資料。您可以使用網頁介面設定資料管道的來源，因此不必擔心如何撰寫低層級連線的程式碼。

轉換

轉換外掛程式會在資料從來源擷取後進行變更。舉例來說，您可以複製記錄、將檔案格式變更為 JSON，或是使用 JavaScript 外掛程式建立自訂轉換。

數據分析

數據分析外掛程式可執行匯總作業，例如從不同來源彙整資料，以及執行數據分析和機器學習作業。

接收器

接收器外掛程式會將資料寫入資源，例如 Cloud Storage、BigQuery、Spanner、關聯資料庫、檔案系統和大型主機。您可以使用 Cloud Data Fusion 網頁介面或 REST API 查詢寫入接收器的資料。

條件和動作

使用條件和動作外掛程式，安排在工作流程期間執行的動作，但不會直接操控工作流程中的資料。例如：

• 使用資料庫外掛程式，安排在管道結尾執行資料庫指令。
• 使用檔案移動外掛程式，觸發在 Cloud Storage 內移動檔案的動作。

錯誤處理常式和警示

階段出現空值、邏輯錯誤或其他錯誤來源時，您可以使用錯誤處理常式外掛程式來捕捉錯誤。您可以使用這些外掛程式，在轉換或數據分析外掛程式執行後，找出輸出內容中的錯誤。您可以將錯誤寫入資料庫以供分析。

後續步驟

• 探索外掛程式。
• 使用外掛程式建立資料管道。