受管理連線總覽

本文件概述了可用來將中繼資料從第三方來源匯入 Dataplex 通用目錄的受管理連線管道。

您可以透過受管理的連線功能，大規模地將中繼資料匯入 Dataplex 通用目錄。受管理的連結管道會從資料來源擷取中繼資料，然後將中繼資料匯入 Dataplex 通用目錄。管道也會視需要在Google Cloud 專案中建立 Dataplex Universal Catalog 項目群組。您可以調度工作流程，並根據需求排定匯入工作。

您可以自行建立自訂連接器，從第三方來源擷取中繼資料。舉例來說，您可以建立連接器，從 MySQL、SQL Server、Oracle、Snowflake、Databricks 等來源擷取中繼資料。如要瞭解建構自訂連接器範例的步驟，請參閱「開發用於匯入中繼資料的自訂連接器」。您也可以使用社群貢獻的自訂連接器，適用於各種第三方來源。

如要瞭解如何執行受管理的連線管道，請參閱「使用工作流程從自訂來源匯入中繼資料」一文。

受管理連線服務的運作方式

下圖顯示管理式連線管道。

代管連線管道。

大致來說，受管理的連線服務的運作方式如下：

  1. 為資料來源建立連接器。

    連接器必須是可在 Dataproc Serverless 上執行的 Artifact Registry 映像檔。

  2. 您可以在工作流程 (自動化調度管理平台) 中執行受管理的連線管道。

  3. 受管理的連線管道會執行下列操作：

    1. 如果項目群組尚不存在，則會根據您的設定建立目標項目群組。
    2. 執行連接器。連接器會從資料來源擷取中繼資料，並產生可匯入 Dataplex 通用目錄的中繼資料匯入檔案。
    3. 監控中繼資料擷取的進度。
    4. 執行中繼資料匯入工作，將中繼資料匯入 Dataplex Universal Catalog。
    5. 監控中繼資料匯入工作的進度。

這個受管理的連線管道會使用 Dataproc Serverless 執行連接器，並使用 Dataplex 通用目錄中繼資料匯入 API 方法執行中繼資料匯入工作。

您匯入的中繼資料包含 Dataplex Universal Catalog 項目及其切面。如要進一步瞭解 Dataplex Universal Catalog 中繼資料，請參閱「關於 Dataplex Universal Catalog 中的資料目錄管理」。

社群提供的自訂連接器

如要從第三方來源匯入中繼資料，您可以使用社群提供的自訂連接器。請參閱各個連接器的 README 檔案，瞭解設定說明和連接器的更多資訊。

資料來源 存放區
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
Snowflake snowflake-connector
SQL Server sql-server-connector

後續步驟