本文件說明如何建立及管理項目類型、項目群組和自訂項目,以便將自訂資料來源整合至 Dataplex 通用目錄。
項目代表您擷取中繼資料的資源。項目群組是一或多個項目的容器,用於管理存取控管機制和區域位置。項目類型會定義項目的必要中繼資料。項目類型可為自由流動的鬆散定義項目資源帶來結構和規則,讓項目可擴充。
如要將自訂資料來源整合至 Dataplex 通用目錄,請使用自訂項目群組下的自訂項目類型建立自訂項目。建立自訂項目時,您需要執行下列高階步驟:
- 建立項目群組。
- 建立項目類型。
- 在項目群組中為項目類型建立自訂項目。
實體
項目代表您擷取中繼資料的資料資產。每個項目都是項目類型的例項。針對項目切面的每個作業都必須遵循其項目類型的必要切面。舉例來說,建立項目時,您必須為項目類型定義的所有切面類型提供值。您無法刪除項目類型中標示為 required
的項目。
項目類別
系統項目:Dataplex 通用目錄會為 Google Cloud資源 (例如 BigQuery 資料集或資料表) 建立項目。Dataplex Universal Catalog 建立的項目稱為系統項目。Dataplex 通用目錄會透過持續從支援的 Google Cloud 系統同步中繼資料,自動更新系統項目。
您無法修改系統項目的自動填入中繼資料 (稱為必要層面)。您只能使用選用切面,新增及修改系統項目的其他中繼資料。詳情請參閱「面向的類別」。
自訂項目:您可以為自訂資源建立及管理的項目稱為自訂項目。自訂資源是指在非 Google 服務中代管的資源,這些資源可能位於 Google Cloud 或外部 (例如內部)。
項目群組
項目群組是容納一或多個項目的容器,您可以使用項目群組管理項目的存取控管機制和區域位置。每個項目群組都屬於專案。
項目群組類別
系統項目群組:針對 Google Cloud 資源,Dataplex Universal Catalog 會自動為每個系統建立項目群組,這些項目群組會出現在每個專案和資源所在的位置。例如,
@bigquery
是 BigQuery 的系統項目群組。自訂項目群組:您為自訂資源建立的項目群組。
項目類型
項目類型會使用一組必要切面類型,定義這類項目的必要中繼資料。
您只能在項目上指定必要切面類型,而不能在項目的資料欄上指定。建立特定項目類型的項目時,您必須為項目類型指定的所有必要切面類型提供值。
項目類型中參照的必要切面類型必須與項目類型屬於相同專案。
項目類型的類別
自訂項目類型:您建立及管理的項目類型。您可以使用這些項目類型建立自訂項目。
系統項目類型:Dataplex Universal Catalog 預設提供這些項目類型。系統項目類型可進一步分為可重複使用和受限制。
下表說明系統項目類型的類別,以及 Dataplex 通用目錄為每個類別提供的項目類型清單:
系統項目類型的類別 說明 Dataplex 通用目錄提供的項目類型 可重複使用的系統項目類型 您可以使用這個項目類型建立自訂項目。 generic
受限系統項目類型 這些是系統專用,例如建立Google Cloud 資源的項目。
您無法使用這些項目類型建立項目,但可以編輯這些項目類型的項目,以新增選用切面。包括但不限於: analytics-hub-exchange
analytics-hub-listing
aspecttype
bigquery-dataset
bigquery-table
cloudsql-database
cloudsql-instance
cloudsql-table
entrygroup
entrytype
sql-access
storage
storage-bucket
storage-folder
您可以在特定區域位置建立自訂項目類型,也可以將其做為全球資源建立。項目類型的位置會影響其適用範圍。詳情請參閱「專案和地點限制」。
系統項目類型一律為全域。系統項目類型會儲存在 Google 管理的專案 (專案 ID 為 655216118709
) 中。例如:projects/655216118709/locations/global/entryTypes/bigquery-table
。
事前準備
在管理項目和擷取自訂資料來源之前,請確認您已完成本節所述的工作。
必要的角色
如要取得建立及管理項目所需的權限,請要求管理員授予您資源的下列 IAM 角色:
-
項目、項目群組和項目類型的完整權限組合:
Dataplex Catalog 管理員 (
roles/dataplex.catalogAdmin
) -
在 Dataplex Universal Catalog 中建立及管理中繼資料資源,包括項目、項目群組和項目類型:
Dataplex Catalog 編輯器 (
roles/dataplex.catalogEditor
) -
對項目相關作業擁有完全存取權:
Dataplex 項目擁有者 (
roles/dataplex.entryOwner
) -
查看項目、項目群組和項目類型,以及與這些項目相關聯的 IAM 政策:
Dataplex Catalog 檢視器 (
roles/dataplex.catalogViewer
) -
建立自訂項目時,請使用切面類型建立這些類型的切面:
Dataplex 切面類型使用者 (
roles/dataplex.aspectTypeUser
) -
建立及管理項目群組:
Dataplex 項目群組擁有者 (
roles/dataplex.entryGroupOwner
) -
建立及管理項目類型:
Dataplex 項目類型擁有者 (
roles/dataplex.entryTypeOwner
) -
使用項目類型建立及修改該類型的項目:
Dataplex 項目類型使用者 (
roles/dataplex.entryTypeUser
)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。
詳情請參閱「Dataplex 通用目錄 IAM 角色」。
啟用 API
在 Dataplex 通用目錄專案中啟用 Dataplex API。
建立項目群組
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
依序按一下「輸入群組」>「自訂」分頁標籤。
按一下「建立項目群組 (Dataplex Catalog)」。
在「Create entry group」視窗中輸入以下內容:
- 選用:在「Display name」欄位中,輸入項目群組的顯示名稱。
- 項目群組 ID:輸入項目群組的專屬 ID。
- 選用:在「說明」欄位中輸入項目群組的說明。
- 位置:選取位置。建立項目群組後,您就無法修改位置。
選用:在「標籤」部分中,以鍵/值組合的形式為資源新增任意標籤:
- 按一下「新增標籤」。
- 在「Key」欄位中輸入金鑰。
- 在「Value」欄位中,輸入鍵的值。
- 如要新增更多標籤,請按一下「新增標籤」,然後重複執行相同步驟。
按一下 [儲存]。
gcloud
如要建立項目群組,請使用 gcloud dataplex entry-groups create
指令。
REST
如要建立項目群組,請使用 entryGroups.Create
方法。
建立項目類型
如要擷取新來源,您必須建立項目類型。
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
依序點選「輸入類型」>「自訂」分頁標籤。
按一下 [建立]。
在「Create entry type」視窗中輸入以下內容:
- 選用:在「Display name」欄位中,輸入項目類型的顯示名稱。
- 項目類型 ID:輸入項目類型的專屬 ID。建立項目類型後,您就無法修改這項設定。
- 選用:在「說明」欄位中輸入項目類型的說明。
- 選用:在「系統」欄位中輸入來源系統。
- 選用步驟:在「Platform」欄位中,輸入這類項目所屬的平台。例如:
Google Cloud
。 - 在「Location」(位置) 欄位中,選取所需位置。建立項目類型後,就無法修改位置。
選用步驟:在「Type aliases」部分,定義項目類型的資料類型。資料類型可用於查詢項目。
- 按一下「新增類型別名」。
- 在「類型別名」欄位中選取資料類型。您可以新增多個型別別名。
在「Required aspect types」部分中,選取此項目類型所需的切面類型。依據這個類型建立的各個項目都會獲派這些必要切面類型。建立項目類型後,就無法修改必要切面類型清單。
- 按一下「選擇切面類型」。
- 在「選取切面類型」視窗中,選取切面類型。
- 點按「選取」。
您無法從項目中刪除必要的面向。
選用:在「標籤」部分中,以鍵/值組合的形式為資源新增任意標籤:
- 按一下「新增標籤」。
- 在「Key」欄位中輸入金鑰。
- 在「Value」欄位中,輸入鍵的值。
- 如要新增更多標籤,請按一下「新增標籤」,然後重複執行相同步驟。
按一下 [儲存]。
gcloud
如要建立項目類型,請使用 gcloud dataplex entry-types create
指令。
REST
如要建立項目類型,請使用 entryTypes.create
方法。
建立自訂項目
控制台
系統不支援使用 Google Cloud 控制台建立自訂項目。請改用 Google Cloud CLI 或 API。
gcloud
如要建立自訂項目,請使用 gcloud dataplex entries create
指令。
REST
如要建立自訂項目,請使用 entries.create
方法。
建立自訂項目後,您可以為項目新增面向。詳情請參閱「在項目中新增層面」。
管理項目群組
本節說明如何查看可用項目群組清單、查看詳細資料、更新及刪除項目群組。
查看可用項目群組清單
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
按一下「輸入群組」分頁標籤。
這個頁面會列出所有可用的 Dataplex Universal Catalog 和 Data Catalog 項目群組。
如要查看自訂項目群組,請按一下「自訂」分頁標籤。在「自訂」分頁中,「目錄來源」欄會顯示資源所在位置,例如 Dataplex Universal Catalog 或 Data Catalog。
如要查看系統輸入群組,請按一下「System」分頁標籤。
如要進一步瞭解自訂和系統項目群組,請參閱本文的「項目群組類別」一節。
選用:如要查看所選專案中的項目群組清單,請按一下「自訂」分頁標籤,然後將「顯示所有專案的項目」切換鈕設為關閉。
系統預設會開啟「Show from all projects」切換鈕,且清單會顯示所選組織的 Dataplex Universal Catalog 資源,以及您可存取的所有機構的 Data Catalog 資源。
gcloud
如要查看可用項目群組清單,請使用 gcloud dataplex entry-groups list
指令。
REST
如要查看可用輸入群組清單,請使用 entryGroups.list
方法。
查看項目群組的詳細資料
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
按一下「輸入群組」分頁標籤。
按一下要查看詳細資料的項目群組。
系統會開啟項目群組詳細資料頁面。您可以存取所選項目群組的顯示名稱、項目群組 ID、說明、專案 ID、位置、標籤、建立日期和上次修改日期等資訊。
您可以在 Data Catalog 和 Dataplex Universal Catalog 網頁介面中查看 Data Catalog 項目群組的詳細資料。如要這樣做,請在項目群組詳細資料頁面中,按一下「Data Catalog」或「Dataplex Catalog」。
「Sample entries」部分會顯示最近在所選項目群組中建立的 10 個相關項目。
選用:如要查看與項目群組相關的所有項目,請在「示例項目」部分中按一下「在搜尋結果顯示所有相關項目」。
gcloud
如要擷取項目群組的詳細資料,請使用 gcloud dataplex entry-groups describe
指令。
REST
如要擷取項目群組的詳細資料,請使用 entryGroups.get
方法。
更新項目群組
您可以更新自訂項目群組。系統項目群組無法修改。
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
依序按一下「輸入群組」>「自訂」分頁標籤。
按一下要更新的項目群組。
在「輸入群組詳細資料」頁面中,按一下「編輯」。
視需要編輯顯示名稱、說明和標籤。
按一下 [儲存]。
gcloud
如要更新項目群組,請使用 gcloud dataplex entry-groups update
指令。
REST
如要更新項目群組,請使用 entryGroups.patch
方法。
刪除項目群組
您可以刪除自訂項目群組。系統項目群組無法刪除。
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
依序按一下「輸入群組」>「自訂」分頁標籤。
按一下要刪除的項目群組。
在「項目群組詳細資料」頁面中,按一下「刪除」。出現提示時,請確認無誤。
gcloud
如要刪除項目群組,請使用 gcloud dataplex entry-groups delete
指令。
REST
如要刪除項目群組,請使用 entryGroups.delete
方法。
管理項目類型
本節說明如何查看可用項目群組清單、查看詳細資料、更新及刪除項目類型。
查看可用項目類型的清單
控制台
gcloud
如要查看可用項目類型的清單,請使用 gcloud dataplex entry-types list
指令。
REST
如要查看可用輸入類型的清單,請使用 entryTypes.list
方法。
查看項目類型的詳細資料
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
依序按一下「輸入類型」>「自訂」分頁標籤。
按一下要查看詳細資料的項目類型。
系統會開啟項目類型詳細資料頁面。您可以存取所選項目類型的資訊,例如顯示名稱、項目類型 ID、說明、專案 ID、位置、平台、系統、類型別名、標籤、建立日期和上次修改日期。
選用:如要查看最近建立的 10 個相關項目清單,請按一下「示例項目」分頁標籤。
選用:如要查看與項目群組相關的所有項目,請按一下「範例項目」分頁標籤,然後點選「在搜尋結果中顯示所有相關項目」。
gcloud
如要擷取項目類型的詳細資料,請使用 gcloud dataplex entry-types describe
指令。
REST
如要擷取項目類型的詳細資料,請使用 entryTypes.get
方法。
更新項目類型
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
依序點選「輸入類型」>「自訂」分頁標籤。
按一下要更新的項目類型。
在「項目類型詳細資料」頁面中,按一下「編輯」。
視需要編輯顯示名稱、說明、系統、平台、類型別名和標籤。
按一下 [儲存]。
gcloud
如要更新項目類型,請使用 gcloud dataplex entry-types update
指令。
REST
如要更新項目類型,請使用 entryTypes.patch
方法。
刪除項目類型
控制台
在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「目錄」頁面。
依序點選「輸入類型」>「自訂」分頁標籤。
按一下要刪除的項目類型。
在「項目類型詳細資料」頁面中,按一下「刪除」。出現提示時,請確認無誤。
gcloud
如要刪除項目類型,請使用 gcloud dataplex entry-types delete
指令。
REST
如要刪除項目類型,請使用 entryTypes.delete
方法。
後續步驟
- 瞭解如何在 Dataplex Universal Catalog 中搜尋資料資產。
- 瞭解如何管理層面並強化中繼資料。
- 瞭解如何將中繼資料匯入 Dataplex 通用目錄。
- 進一步瞭解 Dataplex Universal Catalog 中的中繼資料管理功能。