管理湖泊中的資料資產

本頁面說明如何在現有的 Dataplex 通用目錄可用區中,新增、升級及移除 Cloud Storage 值區和 BigQuery 資料集做為資產。

總覽

資產會對應至儲存在 Cloud Storage 或 BigQuery 中的資料。您可以將儲存在不同 Google Cloud 專案中的資料,做為資產對應至湖泊中的單一區域。您可以附加現有的 Cloud Storage 值區或 BigQuery 資料集,以便從湖泊內進行管理。

事前準備

  • 如果您還沒有湖泊,請先建立湖泊,然後在該湖泊中建立可用區

  • 大部分的 gcloud lakes 指令都需要位置。您可以使用 --location 標記指定位置。

必要的角色

  • 如要移除資產,請授予包含 dataplex.lakes.deletedataplex.zones.deletedataplex.assets.delete IAM 權限的 IAM 角色。您可以使用 Dataplex Universal Catalog 專屬的 roles/dataplex.adminroles/dataplex.editor 角色來授予這些權限。

  • 如要新增資產,請授予包含 create - dataplex.lakes.createdataplex.zones.createdataplex.assets.create 權限的 IAM 角色。roles/dataplex.adminroles/dataplex.editor 角色包含這些權限。

  • 您也可以使用 roles/ownerroles/editor 舊版角色,將權限授予使用者或群組。

  • 您必須針對連結至 Dataplex 通用目錄湖的資源授權 Dataplex 通用目錄服務。系統會自動且隱含地授予建立資料湖的專案中資源的授權。對於其他專案,請明確授權 Dataplex 通用目錄服務存取資源。

詳情請參閱「Dataplex Universal Catalog 身分與存取權管理和存取權控管」。

授予 Cloud Storage 值區的角色

如要將其他專案中的 Cloud Storage 值區附加至湖泊,您必須將 Dataplex 通用目錄服務帳戶 (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com,可從控制台的湖泊詳細資料頁面擷取) 授予包含值區的專案中的 Dataplex 通用目錄服務帳戶角色 (roles/dataplex.serviceAgent)。這個角色會為 Dataplex Universal Catalog 服務提供值區的必要管理員層級角色,以便在值區上設定權限。

授予 BigQuery 資料集的角色

如要將其他專案的 BigQuery 資料集附加至資料湖,您必須將 BigQuery 管理員角色授予 Dataplex 通用目錄服務帳戶。

VPC Service Controls 注意事項

Dataplex 通用目錄不會違反 VPC Service Controls 範圍。在將資產新增至資料湖之前,請確認底層值區或資料集與資料湖位於相同的 VPC Service Controls 網路中。

詳情請參閱「透過 Dataplex 通用目錄使用 VPC Service Controls」。

新增資產

如果 Dataplex 通用目錄湖泊區域和其中一個 Cloud Storage 值區沒有重疊,就無法將值區新增至湖泊中的可用區。

如要進一步瞭解 Cloud Storage 資產的地區位置,以及 Dataplex Universal Catalog 在建立發布資料集時如何處理值區的位置,請參閱「區域資源」。

如要新增素材資源,請按照下列步驟操作:

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄頁面。

    前往 Dataplex 通用目錄

  2. 在「管理」頁面中,按一下要新增 Cloud Storage 儲存桶或 BigQuery 資料集的湖泊。系統會開啟湖泊頁面。

  3. 在「可用區」分頁中,按一下要新增資產的資料可用區名稱。該資料區的可用區頁面就會隨即開啟。

  4. 在「資產」分頁中,按一下「+ 新增資產」。「Add assets」頁面隨即開啟。

  5. 按一下「Add an Asset」

  6. 在「類型」欄位中,選取「BigQuery 資料集」或「Cloud Storage 值區」

  7. 在「顯示名稱」欄位中,輸入新資產的名稱。

  8. 在「ID」欄位中,輸入資產的專屬 ID。

  9. 選用:輸入說明

  10. 在「Dataset」或「Bucket」欄位 (取決於資產類型) 中,按一下「Browse」,找出並選取 Cloud Storage 值區或 BigQuery 資料集。

  11. 選用:如果素材資源類型為 Cloud Storage bucket,且您希望 Dataplex 通用目錄管理素材資源,請選取「Upgrade to Managed」(升級為受管理) 核取方塊。如果您選擇這個選項,就不需要另外升級素材資源。此選項不適用於 BigQuery 資料集。

  12. 按一下「繼續」

  13. 選擇其餘參數值。如要進一步瞭解安全設定,請參閱「資料湖安全性」。

  14. 按一下「提交」

  15. 確認您已返回資料區頁面,且新素材資源出現在素材資源清單中。

REST

如要新增資產,請使用 lakes.zones.assets.create 方法。

新增成功後,資料區就會自動進入啟用狀態。如果失敗,資料區域就會回復先前的健康狀態。

升級 Cloud Storage 值區資產

當您新增 Cloud Storage 儲存桶類型的資產時,Dataplex 通用目錄會自動為資產中代管的資料表發布 BigQuery 外部資料表

升級 Cloud Storage 值區資產時,Dataplex Universal Catalog 會移除已連結的外部資料表,並建立 BigLake 資料表。BigLake 資料表支援更精細的安全防護機制,包括資料列層級、資料欄層級和動態資料遮蓋。

如要升級 Cloud Storage 值區素材資源,請按照下列步驟操作:

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄頁面。

    前往 Dataplex 通用目錄

  2. 在「管理」頁面中,按一下湖泊名稱。系統會開啟湖泊頁面。

  3. 在「可用區」分頁中,按一下資料可用區的名稱。系統會開啟「Data Zone」(資料區) 頁面。

  4. 在「資產」分頁中,按一下要升級的資產名稱。

  5. 按一下「升級為受管理帳戶」

REST

如要升級桶資產,請使用 lakes.zones.assets.patch 方法。

降級 Cloud Storage 值區資產

降級 Cloud Storage 值區資產時,Dataplex Universal Catalog 會移除已附加的 BigLake 資料表,並建立外部資料表。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄頁面。

    前往 Dataplex 通用目錄

  2. 在「管理」頁面中,按一下湖泊名稱。系統會開啟湖泊頁面。

  3. 在「可用區」分頁中,按一下資料可用區的名稱。系統會開啟「Data Zone」(資料區) 頁面。

  4. 在「資產」分頁中,按一下要升級的資產名稱。

  5. 按一下「從代管模式降級」

REST

如要降級資料夾資產,請使用 lakes.zones.assets.patch 方法。請確認您已在 ResourceSpec 中將 readAccessMode 欄位設為 DIRECT

移除素材資源

請先從資料區或資料湖中移除資產,再將資產連結至其他資料區或資料湖。

如要移除素材資源,請按照下列步驟操作:

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄頁面。

    前往 Dataplex 通用目錄

  2. 在「管理」頁面中,按一下要移除 Cloud Storage 值區或 BigQuery 資料集的資料湖泊。該湖泊的湖泊頁面隨即開啟。

  3. 在「區域」分頁中,按一下要從中移除 Cloud Storage 值區或 BigQuery 資料集的資料區名稱。該資料區的可用區頁面隨即開啟。

  4. 在「資產」分頁中,勾選資產名稱左側的核取方塊,即可選取資產。

  5. 按一下「刪除資產」

  6. 在確認對話方塊中,按一下「刪除」

REST

如要移除桶,請使用 lakes.zones,assets.delete 方法。

後續步驟