管理項目和擷取自訂來源

本文件說明如何建立及管理項目類型、項目群組和自訂項目,以便將自訂資料來源整合至 Dataplex 通用目錄。

項目代表您擷取中繼資料的資源。項目群組是一或多個項目的容器,用於管理存取控管機制和區域位置。項目類型會定義項目的必要中繼資料。項目類型可為自由流動的鬆散定義項目資源帶來結構和規則,讓項目可擴充。

如要將自訂資料來源整合至 Dataplex 通用目錄,請使用自訂項目群組下的自訂項目類型建立自訂項目。建立自訂項目時,您需要執行下列高階步驟:

  1. 建立項目群組。
  2. 建立項目類型。
  3. 在項目群組中為項目類型建立自訂項目。

實體

項目代表您擷取中繼資料的資料資產。每個項目都是項目類型的例項。針對項目切面的每個作業都必須遵循其項目類型的必要切面。舉例來說,建立項目時,您必須為項目類型定義的所有切面類型提供值。您無法刪除項目類型中標示為 required 的項目。

項目類別

  • 系統項目:Dataplex 通用目錄會為 Google Cloud資源 (例如 BigQuery 資料集或資料表) 建立項目。Dataplex Universal Catalog 建立的項目稱為系統項目。Dataplex 通用目錄會透過持續從支援的 Google Cloud 系統同步中繼資料,自動更新系統項目。

    您無法修改系統項目的自動填入中繼資料 (稱為必要層面)。您只能使用選用切面,新增及修改系統項目的其他中繼資料。詳情請參閱「面向的類別」。

  • 自訂項目:您可以為自訂資源建立及管理的項目稱為自訂項目。自訂資源是指在非 Google 服務中代管的資源,這些資源可能位於 Google Cloud 或外部 (例如內部)。

項目群組

項目群組是容納一或多個項目的容器,您可以使用項目群組管理項目的存取控管機制和區域位置。每個項目群組都屬於專案。

項目群組類別

  • 系統項目群組:針對 Google Cloud 資源,Dataplex Universal Catalog 會自動為每個系統建立項目群組,這些項目群組會出現在每個專案和資源所在的位置。例如,@bigquery 是 BigQuery 的系統項目群組。

  • 自訂項目群組:您為自訂資源建立的項目群組。

項目類型

項目類型會使用一組必要切面類型,定義這類項目的必要中繼資料。

您只能在項目上指定必要切面類型,而不能在項目的資料欄上指定。建立特定項目類型的項目時,您必須為項目類型指定的所有必要切面類型提供值。

項目類型中參照的必要切面類型必須與項目類型屬於相同專案。

項目類型的類別

  • 自訂項目類型:您建立及管理的項目類型。您可以使用這些項目類型建立自訂項目。

  • 系統項目類型:Dataplex Universal Catalog 預設提供這些項目類型。系統項目類型可進一步分為可重複使用和受限制。

    下表說明系統項目類型的類別,以及 Dataplex 通用目錄為每個類別提供的項目類型清單:

    系統項目類型的類別 說明 Dataplex 通用目錄提供的項目類型
    可重複使用的系統項目類型 您可以使用這個項目類型建立自訂項目。
    • generic
    受限系統項目類型 這些是系統專用,例如建立Google Cloud 資源的項目。

    您無法使用這些項目類型建立項目,但可以編輯這些項目類型的項目,以新增選用切面。
    包括但不限於:
    • analytics-hub-exchange
    • analytics-hub-listing
    • aspecttype
    • bigquery-dataset
    • bigquery-table
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-table
    • entrygroup
    • entrytype
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

您可以在特定區域位置建立自訂項目類型,也可以將其做為全球資源建立。項目類型的位置會影響其適用範圍。詳情請參閱「專案和地點限制」。

系統項目類型一律為全域。系統項目類型會儲存在 Google 管理的專案 (專案 ID 為 655216118709) 中。例如:projects/655216118709/locations/global/entryTypes/bigquery-table

事前準備

在管理項目和擷取自訂資料來源之前,請確認您已完成本節所述的工作。

必要的角色

如要取得建立及管理項目所需的權限,請要求管理員授予您資源的下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

詳情請參閱「Dataplex 通用目錄 IAM 角色」。

啟用 API

在 Dataplex 通用目錄專案中啟用 Dataplex API。

啟用 API

建立項目群組

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 依序按一下「輸入群組」>「自訂」分頁標籤。

  3. 按一下「建立項目群組 (Dataplex Catalog)」

  4. 在「Create entry group」視窗中輸入以下內容:

    1. 選用:在「Display name」欄位中,輸入項目群組的顯示名稱。
    2. 項目群組 ID:輸入項目群組的專屬 ID。
    3. 選用:在「說明」欄位中輸入項目群組的說明。
    4. 位置:選取位置。建立項目群組後,您就無法修改位置。
  5. 選用:在「標籤」部分中,以鍵/值組合的形式為資源新增任意標籤:

    1. 按一下「新增標籤」
    2. 在「Key」欄位中輸入金鑰。
    3. 在「Value」欄位中,輸入鍵的值。
    4. 如要新增更多標籤,請按一下「新增標籤」,然後重複執行相同步驟。
  6. 按一下 [儲存]

gcloud

如要建立項目群組,請使用 gcloud dataplex entry-groups create 指令

REST

如要建立項目群組,請使用 entryGroups.Create 方法。

建立項目類型

如要擷取新來源,您必須建立項目類型。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 依序點選「輸入類型」>「自訂」分頁標籤。

  3. 按一下 [建立]。

  4. 在「Create entry type」視窗中輸入以下內容:

    1. 選用:在「Display name」欄位中,輸入項目類型的顯示名稱。
    2. 項目類型 ID:輸入項目類型的專屬 ID。建立項目類型後,您就無法修改這項設定。
    3. 選用:在「說明」欄位中輸入項目類型的說明。
    4. 選用:在「系統」欄位中輸入來源系統。
    5. 選用步驟:在「Platform」欄位中,輸入這類項目所屬的平台。例如:Google Cloud
    6. 在「Location」(位置) 欄位中,選取所需位置。建立項目類型後,就無法修改位置。
  5. 選用步驟:在「Type aliases」部分,定義項目類型的資料類型。資料類型可用於查詢項目。

    1. 按一下「新增類型別名」
    2. 在「類型別名」欄位中選取資料類型。您可以新增多個型別別名。
  6. 在「Required aspect types」部分中,選取此項目類型所需的切面類型。依據這個類型建立的各個項目都會獲派這些必要切面類型。建立項目類型後,就無法修改必要切面類型清單。

    1. 按一下「選擇切面類型」
    2. 在「選取切面類型」視窗中,選取切面類型。
    3. 點按「選取」

    您無法從項目中刪除必要的面向。

  7. 選用:在「標籤」部分中,以鍵/值組合的形式為資源新增任意標籤:

    1. 按一下「新增標籤」
    2. 在「Key」欄位中輸入金鑰。
    3. 在「Value」欄位中,輸入鍵的值。
    4. 如要新增更多標籤,請按一下「新增標籤」,然後重複執行相同步驟。
  8. 按一下 [儲存]

gcloud

如要建立項目類型,請使用 gcloud dataplex entry-types create 指令

REST

如要建立項目類型,請使用 entryTypes.create 方法。

建立自訂項目

建立自訂項目前,請務必建立項目群組項目類型

控制台

系統不支援使用 Google Cloud 控制台建立自訂項目。請改用 Google Cloud CLI 或 API。

gcloud

如要建立自訂項目,請使用 gcloud dataplex entries create 指令

REST

如要建立自訂項目,請使用 entries.create 方法。

建立自訂項目後,您可以為項目新增面向。詳情請參閱「在項目中新增層面」。

管理項目群組

本節說明如何查看可用項目群組清單、查看詳細資料、更新及刪除項目群組。

查看可用項目群組清單

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 按一下「輸入群組」分頁標籤。

    這個頁面會列出所有可用的 Dataplex Universal Catalog 和 Data Catalog 項目群組。

  3. 如要查看自訂項目群組,請按一下「自訂」分頁標籤。在「自訂」分頁中,「目錄來源」欄會顯示資源所在位置,例如 Dataplex Universal Catalog 或 Data Catalog。

    如要查看系統輸入群組,請按一下「System」分頁標籤。

    如要進一步瞭解自訂和系統項目群組,請參閱本文的「項目群組類別」一節。

  4. 選用:如要查看所選專案中的項目群組清單,請按一下「自訂」分頁標籤,然後將「顯示所有專案的項目」切換鈕設為關閉。

    系統預設會開啟「Show from all projects」切換鈕,且清單會顯示所選組織的 Dataplex Universal Catalog 資源,以及您可存取的所有機構的 Data Catalog 資源。

gcloud

如要查看可用項目群組清單,請使用 gcloud dataplex entry-groups list 指令

REST

如要查看可用輸入群組清單,請使用 entryGroups.list 方法。

查看項目群組的詳細資料

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 按一下「輸入群組」分頁標籤。

  3. 按一下要查看詳細資料的項目群組。

    系統會開啟項目群組詳細資料頁面。您可以存取所選項目群組的顯示名稱、項目群組 ID、說明、專案 ID、位置、標籤、建立日期和上次修改日期等資訊。

    您可以在 Data Catalog 和 Dataplex Universal Catalog 網頁介面中查看 Data Catalog 項目群組的詳細資料。如要這樣做,請在項目群組詳細資料頁面中,按一下「Data Catalog」或「Dataplex Catalog」

    「Sample entries」部分會顯示最近在所選項目群組中建立的 10 個相關項目。

  4. 選用:如要查看與項目群組相關的所有項目,請在「示例項目」部分中按一下「在搜尋結果顯示所有相關項目」

gcloud

如要擷取項目群組的詳細資料,請使用 gcloud dataplex entry-groups describe 指令

REST

如要擷取項目群組的詳細資料,請使用 entryGroups.get 方法。

更新項目群組

您可以更新自訂項目群組。系統項目群組無法修改。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 依序按一下「輸入群組」>「自訂」分頁標籤。

  3. 按一下要更新的項目群組。

  4. 在「輸入群組詳細資料」頁面中,按一下「編輯」

  5. 視需要編輯顯示名稱、說明和標籤。

  6. 按一下 [儲存]

gcloud

如要更新項目群組,請使用 gcloud dataplex entry-groups update 指令

REST

如要更新項目群組,請使用 entryGroups.patch 方法。

刪除項目群組

您可以刪除自訂項目群組。系統項目群組無法刪除。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 依序按一下「輸入群組」>「自訂」分頁標籤。

  3. 按一下要刪除的項目群組。

  4. 在「項目群組詳細資料」頁面中,按一下「刪除」。出現提示時,請確認無誤。

gcloud

如要刪除項目群組,請使用 gcloud dataplex entry-groups delete 指令

REST

如要刪除項目群組,請使用 entryGroups.delete 方法。

管理項目類型

本節說明如何查看可用項目群組清單、查看詳細資料、更新及刪除項目類型。

查看可用項目類型的清單

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 按一下「輸入類型」分頁標籤。

  3. 如要查看自訂項目類型,請按一下「自訂」分頁標籤。如要查看系統輸入類型,請按一下「System」分頁標籤。如要進一步瞭解自訂和系統項目類型,請參閱本文的「項目類型的分類」一節。

  4. 選用步驟:如要查看所選專案中的項目類型清單,請按一下「自訂」分頁標籤,然後將「顯示所有專案」切換鈕設為關閉。

    根據預設,「顯示所有專案」切換鈕會開啟,且清單會納入所有專案的項目類型。

gcloud

如要查看可用項目類型的清單,請使用 gcloud dataplex entry-types list 指令

REST

如要查看可用輸入類型的清單,請使用 entryTypes.list 方法。

查看項目類型的詳細資料

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 依序按一下「輸入類型」>「自訂」分頁標籤。

  3. 按一下要查看詳細資料的項目類型。

    系統會開啟項目類型詳細資料頁面。您可以存取所選項目類型的資訊,例如顯示名稱、項目類型 ID、說明、專案 ID、位置、平台、系統、類型別名、標籤、建立日期和上次修改日期。

  4. 選用:如要查看最近建立的 10 個相關項目清單,請按一下「示例項目」分頁標籤。

  5. 選用:如要查看與項目群組相關的所有項目,請按一下「範例項目」分頁標籤,然後點選「在搜尋結果中顯示所有相關項目」

gcloud

如要擷取項目類型的詳細資料,請使用 gcloud dataplex entry-types describe 指令

REST

如要擷取項目類型的詳細資料,請使用 entryTypes.get 方法。

更新項目類型

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 依序點選「輸入類型」>「自訂」分頁標籤。

  3. 按一下要更新的項目類型。

  4. 在「項目類型詳細資料」頁面中,按一下「編輯」

  5. 視需要編輯顯示名稱、說明、系統、平台、類型別名和標籤。

  6. 按一下 [儲存]

gcloud

如要更新項目類型,請使用 gcloud dataplex entry-types update 指令

REST

如要更新項目類型,請使用 entryTypes.patch 方法。

刪除項目類型

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。

    前往目錄

  2. 依序點選「輸入類型」>「自訂」分頁標籤。

  3. 按一下要刪除的項目類型。

  4. 在「項目類型詳細資料」頁面中,按一下「刪除」。出現提示時,請確認無誤。

gcloud

如要刪除項目類型,請使用 gcloud dataplex entry-types delete 指令

REST

如要刪除項目類型,請使用 entryTypes.delete 方法。

後續步驟