從 Data Catalog 轉移至 Dataplex Universal Catalog

如果您使用 Data Catalog，可以按照本文所述步驟，將 Data Catalog 內容和用法轉移至 Dataplex Universal Catalog。

如果您是第一次使用目錄，請先將 Dataplex Universal Catalog 設為預設目錄服務。

本文適用對象為資料管理員和資料管理員。

Dataplex Universal Catalog 提供統一的網頁介面和 API。轉換至 Dataplex Universal Catalog 後，現有和未來的工作負載和使用者就能享有強化的功能和能力。詳情請參閱「關於 Dataplex Universal Catalog 中的資料目錄管理」。

如要比較 Dataplex Universal Catalog 和 Data Catalog，請參閱「Dataplex Universal Catalog 與 Data Catalog」。

開始轉移前，請先查看 Dataplex Universal Catalog 不支援的中繼資料管理功能。

轉換總覽

Google Cloud 控制台的「管理轉移至 Dataplex」頁面提供單一存取點，可用於管理轉移作業。

本節將說明各種轉換情境，並概述每個情境的轉換程序。

如果您在 Data Catalog 中沒有自訂中繼資料，或是從未使用 Data Catalog

如果您使用 Data Catalog，但沒有自訂中繼資料 (例如標記、標記範本、自訂項目或項目群組)，或是您從未使用 Data Catalog，請將預設目錄 UI 體驗設為 Dataplex 通用目錄，完成轉換作業。

如果您有 Data Catalog 自訂中繼資料或程式輔助工作負載

如果您使用 Data Catalog 搭配自訂中繼資料 (例如標記、標記範本、自訂項目或項目群組)，Dataplex Universal Catalog 會自動將這項自訂中繼資料匯入為 read-only。如要啟用這項功能，您必須調整設定，如準備階段所述。

第二個階段是升級階段，自訂中繼資料的有效狀態 (read-write) 會移至 Dataplex Universal Catalog。在此階段，您也必須更新所有程式工作負載 (例如 API、用戶端程式庫、Terraform 模組和 Google Cloud CLI 指令)，才能與 Dataplex 通用目錄互動。

以下將進一步說明轉換程序的各個階段：

  1. 準備階段：執行必要的設定工作，讓 Data Catalog 內容同時以 read-only 的形式提供給 Dataplex Universal Catalog。在此階段，Data Catalog 仍是您中繼資料內容的權威來源。

    準備階段包含下列工作：

    1. 將 Data Catalog 私人標記範本更新為公開。
    2. 啟用標記範本和標記，讓中繼資料同時顯示在 Dataplex Universal Catalog 中。
    3. 為自訂中繼資料設定 Dataplex Universal Catalog IAM 權限。

    詳情請參閱「準備階段」。

  2. 升級階段：將目錄用量和自訂中繼資料的有效狀態 (read-write) 移至 Dataplex Universal Catalog。

    升級階段包含下列工作：

    1. 將預設目錄 UI 設為 Dataplex Universal Catalog。

    2. 將 Data Catalog 自訂中繼資料升級至 Dataplex Universal Catalog。

      啟用標記範本和標記後，您必須等待至少 48 小時，才能升級自訂中繼資料。這段時間是內部處理作業所需。

    3. 更新程式輔助工作負載。

    完成升級階段後，Dataplex Universal Catalog 就會成為所有中繼資料的權威來源，您就不需要使用 Data Catalog。

    詳情請參閱「升級階段」。

必要的角色

如要取得從 Data Catalog 轉換至 Dataplex Universal Catalog 所需的權限，請在資源上授予下列 IAM 角色：

  • 將私人標記範本更新為公開： Data Catalog TagTemplate 擁有者 (roles/datacatalog.tagTemplateOwner)

    這個預先定義的角色包含 datacatalog.tagTemplates.update 權限，您必須具備這項權限，才能將私人標記範本更新為公開。

  • 啟用公開標記範本和標記，讓資料集成在 Dataplex Universal Catalog 中同時顯示：DataCatalog 遷移設定管理員 (roles/datacatalog.migrationConfigAdmin)

    這個預先定義的角色包含 datacatalog.migrationConfig.set 權限，這是啟用代碼模板和代碼所需的權限。

  • 將預設目錄 UI 體驗設為 Dataplex 通用目錄： DataCatalog 遷移設定管理員 (roles/datacatalog.migrationConfigAdmin)

    這個預先定義的角色包含 datacatalog.migrationConfig.set 權限，這是設定預設目錄 UI 體驗所需的權限。

  • 將 Data Catalog 公開標記範本升級至 Dataplex 通用目錄： Data Catalog TagTemplate 擁有者 (roles/datacatalog.tagTemplateOwner)

    這個預先定義的角色包含 datacatalog.tagTemplates.update 權限，這是升級公開標記範本所需的權限。

  • 將 Data Catalog 項目群組升級至 Dataplex Universal Catalog： DataCatalog EntryGroup 擁有者 (roles/datacatalog.entryGroupOwner)

    這個預先定義的角色包含 datacatalog.entryGroups.update 權限，這是升級項目群組所需的權限。

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

準備階段

這個階段的任務是讓 Data Catalog 中繼資料內容在 read-only 模式下同時顯示在 Dataplex Universal Catalog 中。

以下是準備階段的要點：

  • Data Catalog 仍是自訂中繼資料的可靠來源。
  • 根據預設，Dataplex Universal Catalog 的「Search」頁面會指向 Data Catalog 搜尋功能，後者只包含 Data Catalog 中繼資料，而非 Dataplex Universal Catalog 中繼資料。
  • 在完成準備階段前，Dataplex Universal Catalog 搜尋可能不會納入所有 Data Catalog 公開標記範本和標記。

Data Catalog 自訂項目群組及其項目已同步顯示在 Dataplex Universal Catalog 中，並以 read-only 的形式呈現。在準備階段啟用公開標記範本和標記後，這些項目的內容會同時轉換至 Dataplex 通用目錄，並以 read-only 的形式顯示。

當 Data Catalog 資源同時在 Dataplex Universal Catalog 中提供時，下表顯示 Data Catalog 和 Dataplex Universal Catalog 資源之間的對應關係：

Data Catalog 和 Dataplex Universal Catalog 之間的對應
Data Catalog 資源 對應的 Dataplex Universal Catalog 資源 說明
標記範本 切面類型 (全域)

Data Catalog 中的標記範本是區域性資源。啟用標記範本後，其內容會同時轉換為 Dataplex 通用目錄中的全域切面類型。這是為了保留標記和標記範本之間的跨區參照。屆時全域切面類型的定義將複製到所有 Google Cloud 區域。

Schema 等標準概念會以 Dataplex Universal Catalog 提供的系統切面類型表示。詳情請參閱「面向類型的類別」。
標記 選用切面 啟用標記範本後，這些標記會同時成為 Dataplex 通用目錄中的選用切面。詳情請參閱「面向的類別」。
項目群組 項目群組 在 Dataplex Universal Catalog 中，系統項目的項目群組會依專案和區域建立。在 Data Catalog 中建立的項目群組會同時顯示在 Dataplex Universal Catalog 中。
自訂項目 自訂項目 Data Catalog 中的所有自訂項目都會同時在 Dataplex Universal Catalog 中顯示為 GenericEntryType 的項目。詳情請參閱「項目類型的分類」。
系統項目 (Google Cloud) 系統輸入要求 描述系統項目的中繼資料 (例如 BigQuery 資料表的 Schema) 會擷取系統定義的切面類型所需的切面。

將 Data Catalog 私人標記範本更新為公開

Dataplex 通用目錄不支援私人切面的概念 (私人標記的對應項目)。因此私人標記範本和標記不會立即同步至 Dataplex Universal Catalog。如要在 Dataplex Universal Catalog 中傳播私人標記範本和標記，您必須將這些資源設為公開。

繼續操作前，請檢查私人標記範本的結構，確認結構和中繼資料與公開標記的瀏覽權限一致。

如要將私人標記範本和標記更新為公開，請按照下列步驟操作：

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 按一下「管理轉移至 Dataplex」。

  3. 按一下「私人標記範本」分頁標籤。

  4. 按一下「管理代碼範本」。

  5. 在「標記範本」頁面中，按一下要更新的私人標記範本。

  6. 在「範本詳細資料」頁面中，按一下「編輯」。

  7. 在「顯示設定」部分，選取「公開」。

  8. 按一下「更新」。

REST

如要將私人標記範本更新為公開，請使用 tagTemplates.patch 方法。

啟用公開標記範本和標記，讓資料集標記可同時在 Dataplex Universal Catalog 中使用

啟用之後，Data Catalog 公開標記範本和標記的內容會持續自動傳播至您的 Google Cloud 機構或專案中的 Dataplex Universal Catalog。Data Catalog 公開標記範本和標記會分別傳播至 Dataplex Universal Catalog，並分別成為公開切面類型和切面。屆時全域切面類型的定義將複製到所有 Google Cloud 區域。

如要啟用公開標記範本和標記，請按照下列步驟操作：

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 按一下「管理轉移至 Dataplex」。

  3. 按一下「啟用」分頁標籤。

  4. 點選「選擇啟用」。

  5. 在確認對話方塊中輸入顯示的文字，然後按一下「確認」。

REST

如要啟用標記範本和標記，請使用 setConfig 方法。

無論是 Google Cloud 機構還是專案，您都可以按一下「撤銷選擇加入」，撤銷先前提供的選擇加入。取消啟用之後，Data Catalog 標記範本和標記就不會再傳播至 Dataplex Universal Catalog。透過選擇加入程序建立的 Dataplex Universal Catalog 切面類型和切面，如果未升級至 Dataplex Universal Catalog，就會遭到刪除。刪除程序最多可能需要 12 小時。

為自訂中繼資料設定 Dataplex Universal Catalog IAM 權限

代表 Data Catalog 標記範本和項目群組的 Dataplex Universal Catalog 切面類型和自訂項目群組，不會繼承原先的 Data Catalog IAM 權限。您必須手動為這些切面類型和自訂項目群組設定 Dataplex Universal Catalog IAM 權限。

舉例來說，如果您想使用已傳布的切面類型 (代表 Data Catalog 標記範本) 建立切面，就必須為該切面類型設定必要的 IAM 權限。同樣地，在擷取自訂中繼資料時，如要在已套用的自訂項目群組中建立自訂項目，您必須為該項目群組設定必要的 IAM 權限。

如要進一步瞭解 Data Catalog 中的 IAM 權限如何對應至 Dataplex Universal Catalog，請參閱「Data Catalog 和 Dataplex Universal Catalog 之間的 IAM 權限對應」。

如要為切面類型和自訂項目群組設定必要的 Dataplex Universal Catalog IAM 權限，請按照下列步驟操作：

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 按一下「管理轉移至 Dataplex」。

  3. 按一下「Dataplex IAM 權限」分頁標籤。

  4. 如要為切面類型設定 Dataplex Universal Catalog IAM 權限，請點選「切面類型和標記範本」。

    1. 針對從 Data Catalog 複製的標記範本，請依序按一下 >「權限」。

    2. 按一下「新增主體」。

    3. 新增主體，並指派必要角色。

    4. 按一下 [儲存]。

  5. 如要為項目群組設定 Dataplex Universal Catalog IAM 權限，請點選「項目群組」。

    1. 針對從資料目錄複製的項目群組，請依序按一下 >「權限」。

    2. 按一下「新增主體」。

    3. 新增主體，並指派必要角色。

    4. 按一下 [儲存]。

REST

如要為切面類型設定 Dataplex Universal Catalog IAM 權限，請使用 aspectTypes.setIamPolicy 方法。

如要為項目群組設定 Dataplex Universal Catalog IAM 權限，請使用 entryGroups.setIamPolicy 方法。

升級階段

這個階段的任務包括將 Data Catalog 自訂中繼資料的有效狀態 (read-write) 移至 Dataplex Universal Catalog。

以下是升級期間的注意要點：

  • 預設情況下，Dataplex Universal Catalog「Search」頁面會指向 Dataplex Universal Catalog 搜尋功能。
  • 您可以在 Dataplex Universal Catalog 中探索及讀取 Data Catalog 和 Dataplex Universal Catalog 中繼資料。
  • 如要在 Google Cloud 主控台中更新中繼資料，系統會將您重新導向至來源。舉例來說，如果您要更新 Data Catalog 標記範本，系統會將您重新導向至 Data Catalog 中的標記範本頁面。

將預設目錄 UI 設為 Dataplex Universal Catalog

將預設目錄 UI 設為 Dataplex Universal Catalog 後會發生下列情況：

  • 當您前往Google Cloud 控制台的 Dataplex Universal Catalog「Search」頁面時，系統會預設顯示 Dataplex Universal Catalog (Dataplex Catalog) 搜尋功能。Dataplex Universal Catalog 搜尋功能會在 Dataplex Universal Catalog 中運作，並找出所有中繼資料內容，包括在 Dataplex Universal Catalog 中建立的內容，以及從 Data Catalog 導入的內容。

    Data Catalog 搜尋功能只會找出 Data Catalog 內容，不會找出 Dataplex Universal Catalog 內容。因此，建議您使用 Dataplex Universal Catalog 搜尋功能。

  • 網頁介面會建議您在 Dataplex Universal Catalog (Dataplex Catalog) 中建立新資源。舉例來說，預設會顯示「Create Aspect Types」而非「Create Tag Templates」，以及「Create Entry Group (Dataplex Catalog)」而非「Create Entry Group (Data Catalog)」。

  • 將預設目錄 UI 設為 Dataplex Universal Catalog 通常是單向作業。不過，在例外情況下，Dataplex Universal Catalog 可讓您還原變更，例如您想將預設目錄 UI 切換回 Data Catalog。如果您還原變更，就無法在 Data Catalog 網頁介面中存取在 Dataplex Universal Catalog 中建立的任何內容。

如要將預設目錄 UI 設為 Dataplex Universal Catalog，請按照下列步驟操作：

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 按一下「管理轉移至 Dataplex」。

  3. 按一下「預設目錄 UI 體驗」分頁標籤。

  4. 按一下「將預設目錄 UI 設為 Dataplex Catalog」。

REST

如要將預設目錄 UI 體驗設為 Dataplex 通用目錄，請使用 setConfig 方法。

將 Data Catalog 自訂中繼資料升級至 Dataplex Universal Catalog

您可以將 Data Catalog 公開標記範本 (已啟用) 和自訂項目群組升級至 Dataplex 通用目錄。請務必分別升級各個代碼範本和自訂項目群組。

以下摘要說明升級程序：

  • 效果

    • 將資源的有效狀態從 Data Catalog 轉移至 Dataplex Universal Catalog。升級完成後，如要修改資源或存取其目前狀態，您必須使用 Dataplex Universal Catalog。

  • 資料內容和流程異動

    • 在 Data Catalog 中將資源標示為 read-only。
    • 在 Dataplex Universal Catalog 中將資源標示為 read-write。
    • 停止這項資源的同時可用性。

  • 依附元件

    • 升級標記範本時，系統也會一併升級使用該範本的所有標記。
    • 升級項目群組也會升級該群組中的所有項目。
    • 升級項目不會影響其標記和相應標記範本的升級狀態。

在升級前，如要修改項目 (例如 overview、contacts) 的業務背景，您可以同時使用 Data Catalog API 和 Dataplex API。升級後，您必須只使用 Dataplex API。

下文將說明標記自訂 Data Catalog 項目時，可執行的作業，取決於相關自訂項目群組和標記範本的升級狀態：

  • 當 Data Catalog 中的標記範本處於有效狀態時，您可以使用該標記範本建立標記。將標記範本升級至 Dataplex Universal Catalog 後，就無法在 Data Catalog 中使用該範本建立標記。
  • 您必須先升級標記範本，才能使用從 Data Catalog 標記範本傳播的切面類型建立切面。

如要將 Data Catalog 標記範本和自訂項目群組升級至 Dataplex Universal Catalog，請按照下列步驟操作：

控制台

  1. 請務必在啟用後至少等待 48 小時，再將 Data Catalog 標記範本升級至 Dataplex Universal Catalog。內部處理作業需要這段時間。

  2. 在 Google Cloud 控制台中，前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  3. 按一下「管理轉移至 Dataplex Universal Catalog」。

  4. 按一下「升級至 Dataplex」分頁標籤。

  5. 如要將 Data Catalog 標記範本升級至 Dataplex Universal Catalog，請點選「View aspect types and tag templates」。

    1. 選取要升級的代碼範本。

    2. 按一下「升級」。

    3. 在確認對話方塊中，按一下「確認」。

  6. 如要將 Data Catalog 自訂項目群組升級至 Dataplex Universal Catalog，請按一下「View entry groups」(查看項目群組)。

    1. 選取要升級的項目群組。

    2. 按一下「升級」。

    3. 在確認對話方塊中，按一下「確認」。

REST

請務必在啟用後至少等待 48 小時，再將 Data Catalog 標記範本升級至 Dataplex Universal Catalog。內部處理作業需要這段時間。

接著，如要將 Data Catalog 標記範本和自訂項目群組升級至 Dataplex Universal Catalog，請使用 tagTemplates.patch 方法。

完成升級階段後，Dataplex Universal Catalog 就會成為所有中繼資料的權威來源，您就不需要使用 Data Catalog。

更新程式輔助工作負載

Dataplex Universal Catalog 提供新的 API、用戶端程式庫、Terraform 模組和 Google Cloud CLI 指令。因此，您必須將任何現有工作負載的 Data Catalog 程式輔助用途更新為 Dataplex Universal Catalog。請參閱 Dataplex Universal Catalog 程式碼範例。

請務必將更新程式輔助工作負載與升級依附資源 (例如標記範本和自訂項目群組) 保持一致。這是必要的，因為升級會將資源的有效狀態 (read-write) 從 Data Catalog 移至 Dataplex Universal Catalog。

以下是更新程式輔助工作負載以與 Dataplex Universal Catalog 互動的示範序列，並與升級依附資源進行協調：

  1. 如果工作負載可容許最終一致性，請將工作負載的 read 作業移至 Dataplex Universal Catalog。

  2. 將執行標記 write 作業的工作負載移至 Dataplex Universal Catalog，並配合升級對應的標記範本。

  3. 將執行自訂擷取 write 作業的工作負載移至 Dataplex Universal Catalog，並配合升級相應的自訂項目群組。

如果您需要將更新工作負載和升級相應資源的作業分開，建議您在工作負載中實作邏輯，將 read-write 重新導向至 Data Catalog 或 Dataplex Universal Catalog，以便查看資源升級狀態。因此，工作負載會獨立於相關資源的升級狀態運作。

後續步驟