Dataplex Universal Catalog 提供集中式平台，可儲存、管理及存取中繼資料。本文說明 Dataplex Universal Catalog 的中繼資料管理功能。
Dataplex Universal Catalog 提供雲端和地端資源的統一清單。Google Cloud Dataplex Universal Catalog 會自動擷取並儲存 Google Cloud 資源的中繼資料。您也可以將第三方資源的自有中繼資料匯入 Dataplex Universal Catalog。
您可以新增業務和技術中繼資料，充實資源清單，擷取資源的背景資訊和知識。您也可以在整個機構中搜尋及探索資料，並對資料資產啟用資料管理功能。
您可以將預設目錄服務設為 Dataplex Universal Catalog。 如果您使用 Data Catalog，請將獨立的 Data Catalog 內容和使用情形轉移至 Dataplex Universal Catalog。詳情請參閱「從 Data Catalog 轉移至 Dataplex Universal Catalog」。
用途
您可以使用 Dataplex Universal Catalog 執行下列操作：
探索及解讀資料。Dataplex Universal Catalog 可讓您掌握整個機構的資料資源。可協助您尋找符合資料用量需求的相關資源。這項功能會提供資料資源的背景資訊，協助您瞭解資料資源是否符合資料消費者的需求。
啟用資料管理和資料管理。Dataplex Universal Catalog 提供中繼資料，可做為資料治理和資料管理功能的資訊來源和動力。
維護可擴充且全面的中繼資料存放區。 Dataplex Universal Catalog 會儲存並提供中繼資料的存取權，這些中繼資料是從 Google Cloud 資源自動收集而來。您可以整合非Google Cloud 系統的自有中繼資料。您可以透過額外的業務和技術中繼資料註解，充實所有中繼資料。
Dataplex Universal Catalog 的中繼資料管理方式
Dataplex Universal Catalog 的中繼資料管理功能以以下概念為基礎：
項目：項目代表資料資產。大部分中繼資料都是由項目內的切面描述。這與 Data Catalog 中的項目類似。 詳情請參閱「項目」一文。
切面：切面是項目內的一組相關中繼資料欄位。 您可以將層面解讀為項目的建構區塊，或是項目的額外中繼資料。這與 Data Catalog 中的標記類似，但切面會儲存在項目中，而不是獨立資源。詳情請參閱「層面」。
切面類型：切面類型是可重複使用的切面範本。每個切面都是切面類型的例項。這與資料目錄中的標記範本類似。詳情請參閱「構面類型」。
項目群組：項目群組是項目的容器，可做為這些項目的管理單位。舉例來說，您可以使用項目群組，為項目群組中的項目設定 Identity and Access Management 存取控管、專案歸因或位置。這與 Data Catalog 中的項目群組類似。詳情請參閱「項目群組」。
項目類型：項目類型是建立項目的範本。這項定義會建立必要的中繼資料元素，並列出這類項目的必要切面。詳情請參閱「項目類型」。
圖 1. 項目和項目群組 
圖 2. 切面類型和項目類型
以下列出 Dataplex Universal Catalog 中繼資料管理功能的幾種用途：
- 資料分析師或業務分析師可以搜尋整個機構的項目，並探索與項目相關聯的中繼資料。詳情請參閱「搜尋資料資產」。
- 資料擁有者或資料管理員可以透過註解項目，擷取額外的技術和業務中繼資料。詳情請參閱「管理層面及豐富中繼資料」。如要管理企業字詞，請參閱「管理詞彙」。
- 資料擁有者或資料管理員可以定義註解 (使用層面類型)、業務詞彙表 (使用類別和業務字詞) 和自訂項目 (使用項目類型) 的標準，確保中繼資料一致。詳情請參閱「管理層面及豐富中繼資料」和「管理業務字彙表」。
- 資料工程師可以取得資源的統一清單，包括 Google Cloud 資源和第三方系統的資源。Dataplex Universal Catalog 會自動收集Google Cloud 資源，您則負責收集非Google Cloud 資源。詳情請參閱「管理項目及擷取自訂來源」。
現有 Data Catalog 使用者
如果您已使用 Data Catalog，請注意下列事項：
- 您在 Data Catalog 中建立的自訂項目、總覽內容、詞彙表和項目群組，都會在 Dataplex Universal Catalog 中提供。
- 管理員可以選擇讓 Data Catalog 標記範本和標記的內容同時顯示於 Dataplex Universal Catalog。詳情請參閱「從 Data Catalog 轉移至 Dataplex Universal Catalog」。
- 在 Dataplex Universal Catalog 中搜尋資料資產時，系統會納入直接在 Dataplex Universal Catalog 中建立的中繼資料，以及從 Data Catalog 帶入 Dataplex Universal Catalog 的中繼資料。
- 在 Data Catalog 中搜尋資料資產時，只會納入在 Data Catalog 中建立的中繼資料。
- 如果 Data Catalog 中的項目群組說明超過 1024 個半形字元，Dataplex Universal Catalog 會將說明截斷為 1024 個半形字元。
- 管理員如要讓您在 Data Catalog 中建立的詞彙表和商務字詞與資料欄之間的相關連結，顯示在 Dataplex Universal Catalog 中，請按照轉移程序操作。
如要進一步瞭解如何將獨立 Data Catalog 內容和使用情形轉移至 Dataplex Universal Catalog，請參閱「從 Data Catalog 轉移至 Dataplex Universal Catalog」。
Dataplex Universal Catalog 與 Data Catalog 的比較
Dataplex Universal Catalog 提供整合式功能，可管理中繼資料。中繼資料儲存空間和 API 方法已整合至 Dataplex API。
Dataplex Universal Catalog 的主要中繼資料管理功能包括：
更穩健的中繼模型
- 輸入的項目。您可以定義自訂項目的必要中繼資料內容，強制執行最低中繼資料標準
- 使用者可設定自訂項目的元模型，有助於提升自訂擷取的穩定性，並改善自訂中繼資料的一致性和完整性。
- 支援更多種類和複雜程度的中繼資料，包括支援清單、對應和陣列等巢狀結構。
提升可擴充性，包括可透過單一不可分割的 CRUD 作業，與項目相關聯的所有中繼資料互動，以及在搜尋或清單回應中擷取多個相關聯的中繼資料註解。
下表比較 Dataplex Universal Catalog 和 Data Catalog 的中繼資料管理功能：
| 功能 | Dataplex Universal Catalog | Data Catalog |
|---|---|---|
| 支援的 Google Cloud 來源 | 如本文件「支援的來源 Google Cloud 」一節所述的所有來源。 | 項目和項目群組中說明的所有來源。 |
| 自訂來源攝入 | 以受控結構匯入自訂項目，並由項目類型定義。 Data Catalog 自訂項目和項目群組會顯示在 Dataplex Universal Catalog 的 | 擷取至一般自訂項目。 |
| 中繼資料擴充 | 系統會使用業務詞彙表、切面和切面類型，擷取項目的中繼資料內容。 | 系統會使用業務詞彙表、標記和標記範本，擷取項目的中繼資料內容。 |
| 搜尋 | 搜尋範圍包括：
搜尋結果只會列出與執行搜尋的專案屬於相同機構和虛擬私有雲端 SC 範圍的資源。使用 Google Cloud 控制台時，這是控制台中選取的專案。 請注意，如要在專案搜尋項目，至少須具備該專案的其中一個 IAM 角色：Dataplex Catalog 管理員、Dataplex Catalog 編輯者或 Dataplex Catalog 檢視者。搜尋結果的權限檢查作業與所選專案無關。 |
搜尋範圍包括：
|
| 資料歷程 |
資料歷程會使用 Dataplex API，擷取資產節點的項目詳細資料。 Google Cloud 控制台會顯示附加的層面。 |
資料歷程會使用 Data Catalog API，擷取資產節點的項目詳細資料。 |
| 商務詞彙表 |
您可以透過企業詞彙建立業務字詞的分類，並將這些字詞與資料資產和資料欄建立關聯。您可以使用搜尋功能，找出與特定字詞相關聯的資產。 |
您可以透過商務詞彙表建立商務字詞的分類，並將這些字詞與資料欄建立關聯。你可以使用搜尋功能，找出與特定字詞相關聯的資產。 |
下表說明 Dataplex Universal Catalog 中的資源如何對應至 Data Catalog 資源：
| Dataplex Universal Catalog 資源 | Data Catalog 資源 | 說明 |
|---|---|---|
切面類型 (global) |
公開標記範本 | 標記範本是區域資源。不過，您可以使用這些設定，在各個區域建立代碼。標記範本對應至 Dataplex Universal Catalog 中的global切面類型。 |
| 選用切面 | 公開標記 | Data Catalog 中的公開標記對應至 Dataplex Universal Catalog 中的選用切面。 |
| 項目群組 | 項目群組 | 對於 Google Cloud 來源，系統項目群組 (例如 @bigquery) 會在 Dataplex Universal Catalog 中依專案建立。 |
| 自訂項目必要切面 | 自訂項目 | Data Catalog 和 Dataplex Universal Catalog 的自訂項目概念相似。 標準項目屬性在 Dataplex Universal Catalog 中會模擬為必要切面。 |
| 系統登錄必要切面 | 系統 (Google Cloud) 項目 | 系統定義的必要層面類型會擷取描述內建實體的中繼資料，例如 BigQuery 資料表的 Schema。 |
| 商務詞彙表 | 商務詞彙表 | 使用詞彙表建立業務字詞的分類，在整個企業中標準化業務情境。 |
如要進一步瞭解 Data Catalog 提供但 Dataplex Universal Catalog 不支援的功能，請參閱本文的「Dataplex Universal Catalog 不支援的中繼資料管理功能」一節。
支援的來源
- 自動探索 Cloud Storage 資料
- 系統會自動將下列 Google Cloud 來源的中繼資料擷取到 Dataplex Universal Catalog：
- BigQuery sharing (舊稱 Analytics Hub) 交易和項目
- BigQuery 資料集、資料表、模型、常式、連線和連結的資料集
- Bigtable 執行個體、叢集和資料表 (包括資料欄系列詳細資料)
- Dataform 存放區和程式碼資產
- Cloud SQL 執行個體、資料庫、結構定義、資料表、檢視區塊 - 請參閱「啟用 Cloud SQL 整合」
- Dataproc Metastore 服務、資料庫和資料表
- Pub/Sub 主題
- Spanner 執行個體、資料庫、資料表和檢視區塊
- Vertex AI 模型、資料集、特徵群組、特徵檢視區塊和線上商店執行個體
如要將第三方來源的中繼資料匯入 Dataplex Universal Catalog，可以使用受管理連線管道。
專案和位置限制
Dataplex Universal Catalog 中的目錄資源位於不同專案和位置。限制如下：
位置：
- 項目的位置必須與項目類型的位置相符，或項目類型必須為
global。 - 新增至項目的切面必須以儲存在與項目相同位置的切面類型為依據，或切面類型必須為
global。 - 項目類型必須由儲存在與項目類型相同位置的切面類型組成。
- 項目的位置必須與項目類型的位置相符，或項目類型必須為
專案：
- 如果項目類型參照自訂切面類型，則切面類型必須與項目類型位於相同的位置和專案。
Dataplex Universal Catalog 不支援的中繼資料管理功能
Dataplex Universal Catalog 不支援 Data Catalog 的下列功能：
- Dataplex Universal Catalog 沒有私人切面和私人切面類型 (對應至 Data Catalog 中的私人標記和私人標記範本) 的概念。
- Dataplex Universal Catalog 搜尋功能不支援搜尋政策標記，因此
policytag和policytagid述詞無法在 Dataplex Universal Catalog 搜尋功能中使用。 - 將 Data Catalog 自訂項目群組、自訂項目、標記範本和標記匯入 Dataplex Universal Catalog 時，系統不會轉移原始權限。您必須先明確設定所複製中繼資料的 IAM 權限，才能使用該中繼資料。
- 目前不支援使用 Terraform 管理切面和自訂項目。您可以改用代管連線管道或中繼資料匯入 API 方法，以程式輔助方式大規模管理自訂中繼資料。(Terraform 支援項目群組、項目類型和切面類型；請參閱「使用 Terraform 佈建 Dataplex Universal Catalog 資源」。)
- 系統不支援將 Sensitive Data Protection 檢查結果直接傳送至 Dataplex Universal Catalog 中的目錄。您可以改為將資訊安全防護檢查結果傳送至 Data Catalog，然後將結果轉移至 Dataplex Universal Catalog。
- 您無法使用 API 列出跨專案的項目類型和切面類型。您只能將清單要求限定在專案範圍內。
- 系統不支援將湖泊、儲存區、資產和實體註冊為 Dataplex Universal Catalog 項目。也就是說，附加至 lake、儲存區、資產和實體的 Data Catalog 中繼資料，不會轉移至 Dataplex Universal Catalog 中的目錄。此外，使用 Dataplex Universal Catalog 搜尋功能時，系統不支援搜尋專區和實體，也不支援依專區和專區篩選。您可以在 Dataplex Universal Catalog 中，獨立使用湖泊和儲存區。
- 系統不支援管理員搜尋 (可確保完整召回)。您可以匯出中繼資料至 Cloud Storage，然後從 BigQuery 查詢。
如要比較 Dataplex Universal Catalog 和 Data Catalog 支援的功能和資源，請參閱本文的「Dataplex Universal Catalog 與 Data Catalog 比較」一節。
定價
Dataplex Universal Catalog 會使用中繼資料儲存空間 SKU，收取中繼資料儲存空間費用。 詳情請參閱「Dataplex Universal Catalog 定價」。
使用下列功能不需付費：
- 在 Dataplex Universal Catalog 中建立及管理目錄資源
- Dataplex Universal Catalog 的 Search API 呼叫
- 在 Google Cloud 控制台的 Dataplex Universal Catalog 頁面中執行的搜尋查詢Google Cloud
後續步驟
- 瞭解如何在 Dataplex Universal Catalog 中搜尋資源。
- 瞭解如何管理資產及豐富中繼資料。
- 瞭解如何管理項目及擷取自訂來源。
- 進一步瞭解如何從 Data Catalog 遷移至 Dataplex Universal Catalog。
- 進一步瞭解如何將詞彙表轉移至 Dataplex Universal Catalog。