在 Cloud Data Fusion 中建立資料管道時,您會使用一系列的階段 (稱為節點),在資料從來源流向接收器的過程中移動及管理資料。每個節點都包含一個外掛程式,也就是可自訂的模組,可擴充 Cloud Data Fusion 的功能。
您可以前往 Studio 頁面,在 Cloud Data Fusion 網頁介面中找到外掛程式。如要查看更多外掛程式,請按一下「Hub」。
外掛程式類型
外掛程式可分為下列類別:
- 來源
- 轉換
- 數據分析
- 接收器
- 條件和動作
- 錯誤處理常式和警示
來源
來源外掛程式可連結至資料庫、檔案或即時串流,管道會從這些來源讀取資料。您可以使用網頁介面設定資料管道的來源,因此不必擔心如何撰寫低層級連線的程式碼。
轉換
轉換外掛程式會在資料從來源擷取後進行變更。舉例來說,您可以複製記錄、將檔案格式變更為 JSON,或是使用 JavaScript 外掛程式建立自訂轉換。
數據分析
數據分析外掛程式可執行匯總作業,例如從不同來源彙整資料,以及執行數據分析和機器學習作業。
接收器
接收器外掛程式會將資料寫入資源,例如 Cloud Storage、BigQuery、Spanner、關聯資料庫、檔案系統和大型主機。您可以使用 Cloud Data Fusion 網頁介面或 REST API 查詢寫入接收器的資料。
條件和動作
使用條件和動作外掛程式,安排在工作流程期間執行的動作,但不會直接操控工作流程中的資料。例如:
- 使用資料庫外掛程式,安排在管道結尾執行資料庫指令。
- 使用檔案移動外掛程式,觸發在 Cloud Storage 內移動檔案的動作。
錯誤處理常式和警示
階段出現空值、邏輯錯誤或其他錯誤來源時,您可以使用錯誤處理常式外掛程式來捕捉錯誤。您可以使用這些外掛程式,在轉換或數據分析外掛程式執行後,找出輸出內容中的錯誤。您可以將錯誤寫入資料庫以供分析。