在 Dataplex Universal Catalog 中搜尋資源

本文件說明如何在 Dataplex 通用目錄中使用搜尋功能,搜尋 BigQuery 資料集、Cloud SQL 執行個體等資源。

如要進一步瞭解 Dataplex 通用目錄支援的 Google Cloud 資產,請參閱「支援的 Google Cloud 來源」。

搜尋範圍

Dataplex Universal Catalog 中的搜尋結果會尊重您在來源系統中對應資源的權限。

舉例來說,如果您對 BigQuery 中繼資料的讀取權限涵蓋某個物件,該物件就會顯示在 Dataplex 通用目錄搜尋結果中。如果您可以存取 BigQuery 資料表,但無法存取包含該資料表的資料集,資料表仍會在 Dataplex 通用目錄搜尋中正常顯示。

搜尋結果只會包含與執行搜尋的專案屬於同一機構的資源。

搜尋結果只會列出與執行搜尋的專案相同的 VPC-SC 範圍內的資源。使用Google Cloud 控制台時,這是控制台中選取的專案。

如要擴大搜尋結果的範圍,讓結果涵蓋專案 VPC Service Controls 範圍內的資源以外的資源,請使用 VPC Service Controls 輸入和輸出規則。這些規則可協助貴機構私密且有效率地交換資料。您可以使用Google Cloud 主控台或 JSON 或 YAML 檔案設定入站和出站規則。請參閱下列 YAML 範例,並參閱 VPC Service Controls 說明文件,根據您的特定需求調整規則。

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

如要進一步瞭解使用 Dataplex Universal Catalog 搜尋功能所需的 Identity and Access Management 角色,請參閱「Dataplex Universal Catalog IAM 角色」。

使用 VPC Service Controls 依環境區隔搜尋結果

如要在開發、測試和實際工作環境之間隔離 Dataplex Universal Catalog 搜尋結果,請為每個環境設定個別的 VPC Service Controls 範圍。將包含資料資產的專案和用於執行搜尋的專案,都指派給對應環境的範圍。從特定範圍內的專案執行搜尋時,系統只會傳回位於該範圍內的素材資源結果。

搜尋回想功能的限制

Dataplex Universal Catalog 搜尋查詢無法保證完全回溯。系統可能不會傳回與查詢相符的結果,即使在後續的結果頁面中也是如此。此外,重複執行搜尋查詢時,傳回 (或未傳回) 的結果可能會有所不同。

如要查詢所有 Dataplex 通用目錄中繼資料,您可以將中繼資料匯出至 Cloud Storage,然後透過 BigQuery 查詢。詳情請參閱「匯出中繼資料」。

篩選器

篩選器可讓您縮小搜尋結果範圍。所有篩選器會分組為以下幾個部分:

  • 系統:例如 BigQuery、Cloud SQL 等。Dataplex Universal Catalog 系統包含自訂項目。
  • 「切面 (標記)」會列出您可用的所有切面。
  • 「Project」會列出您可以使用的所有專案。
  • 類型別名可用來描述資源類型,例如資料庫、資料集、模型、資料表、檢視畫面、服務和自訂類型。
  • 資料集來自 BigQuery。

您可以結合多個部分的篩選條件,找出符合每個所選部分至少一項條件的素材資源。系統會使用 OR 邏輯運算子評估單一部分中選取的多個篩選器。

舉例來說,請參考下圖中的篩選器組合 (按一下圖片即可放大)。系統會選取下列搜尋篩選器:系統 BigQuery、類型別名 tableview、面向 My aspect type 1My aspect type 2、專案 my-test-project 和資料集 test_bq_dataset

搜尋篩選器顯示多個選項。

搜尋功能會尋找下列資產:

  • test_bq_dataset 中的 BigQuery 資料表,具有 My aspect type 1 維度
  • test_bq_dataset 中的 BigQuery 資料表,具有 My aspect type 2 維度
  • test_bq_dataset 中的 BigQuery 檢視表,其中包含 My aspect type 1 的面向
  • test_bq_dataset 中的 BigQuery 檢視表,其中包含 My aspect type 2 的面向

依切面值篩選

您可以使用「Aspects」篩選器,查詢使用特定範本標記的資產。您可以使用「自訂」選單進一步調整結果,並依特定面向值篩選結果。評分值篩選條件取決於評分欄位的資料類型。舉例來說,您可以為 datetimenumber 欄位指定特定日期或範圍。

篩選器瀏覽權限

系統會根據「Search」欄位中的目前查詢,顯示「Systems」、「Type aliases」、「Project」和「Datasets」篩選器。

事前準備

搜尋資源前,請確認您具備必要角色並啟用 API。

必要的角色

本節說明搜尋資源和存取搜尋結果所需的角色和權限。

如要進一步瞭解如何授予角色,請參閱「管理存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

搜尋項目所需的角色

如要在專案搜尋項目,至少須具備該項專案的其中一個 IAM 角色:Dataplex Catalog 管理員、Dataplex Catalog 編輯者或 Dataplex Catalog 檢視者。系統會獨立檢查搜尋結果的權限,不受所選專案影響。

存取搜尋結果所需的角色

Dataplex Universal Catalog 中的搜尋結果會根據您的角色設定範圍。如要在 Dataplex Universal Catalog 中搜尋資產,您必須具備存取來源系統中對應資源的權限。詳情請參閱本文件的「搜尋範圍」一節。

舉例來說,如要搜尋 BigQuery 資料集、資料表、檢視和模型,您必須具備這些項目的相關權限。詳情請參閱 BigQuery 權限

下表列出必要權限:

  • 如要搜尋資料表,您必須具備該資料表的 bigquery.tables.get 權限。
  • 如要搜尋資料集,您必須具備該資料集的 bigquery.datasets.get 權限。
  • 如要搜尋資料集或資料表的中繼資料,您必須具備 BigQuery 中繼資料檢視者角色 (roles/bigquery.metadataViewer)。

舉另一個例子來說,如要搜尋 Cloud SQL 執行個體、資料庫、結構定義、資料表和檢視,您必須具備這些項目的相關權限。詳情請參閱 Cloud SQL 角色和權限

如要搜尋自訂項目,您必須具備 Dataplex Catalog 檢視者角色 (roles/dataplex.catalogViewer)。

啟用 API

Enable the Dataplex API.

Enable the API

搜尋資源

控制台

如要搜尋資源,請按照下列步驟操作:

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「Search」頁面。

    前往「Search」(搜尋) 頁面

  2. 在「請選擇搜尋平台」中,選取「Dataplex Catalog」做為搜尋模式。

    選取「Dataplex Catalog」後,您就能搜尋 Dataplex Universal Catalog 中繼資料儲存空間。如果您是現有的 Data Catalog 使用者,選取「Data Catalog」即可搜尋 Data Catalog 存放區。

  3. 在搜尋欄位中輸入查詢,或使用「篩選器」面板來調整搜尋參數。

    您可以手動新增下列篩選器:

    • 新增專案篩選器:在「專案」中,按一下「新增專案」。搜尋特定專案、選取專案,然後按一下「Open」
    • 新增切面類型篩選器:在「Aspects」中,按一下「Add more aspect types」選單。搜尋特定範本、選取該範本,然後按一下「確定」
  4. 選用:除了可用的素材資源外,您也可以選取「Include public datasets」,搜尋 Google Cloud 中公開提供的資源。

請參考下列訣竅,建構搜尋查詢:

  • 如果搜尋運算式中包含空格,請使用引號將其括住。例如 "search terms"
  • 您可以在關鍵字前面加上 NOT,以比對 keyword:term 篩選器的邏輯否定。您也可以使用 ANDOR 布林運算子合併搜尋運算式。ANDORNOT 運算子不區分大小寫。

    例如,NOT column:term 會列出除了與指定字詞相符的資料欄以外的所有資料欄。如需您可以在 Dataplex Universal Catalog 搜尋運算式中使用的關鍵字與其他字詞的清單,請參閱「搜尋語法」。

gcloud

如要搜尋資源,請使用 gcloud dataplex entries search 指令

REST

如要搜尋資源,請使用 searchEntries 方法

查看項目詳細資料

控制台

使用 Dataplex Universal Catalog 搜尋功能查看項目詳細資料。

  1. 在 Google Cloud 控制台中,前往 Dataplex 通用目錄的「Search」頁面。

    前往「Search」(搜尋) 頁面

  2. 選取「Dataplex Catalog」做為搜尋模式。

  3. 在搜尋框中輸入項目名稱。

  4. 按一下項目。

    系統會開啟項目詳細資料頁面。這個頁面包含以下各節:

    • 項目詳細資料:包括項目類型、系統、平台、完全限定名稱、建立時間、上次修改時間、說明和管理員等資訊。
    • 總覽:項目的總覽 (如有)。
    • 切面:為項目定義的必要和選用切面。詳情請參閱「面向的類別」。

gcloud

如要查看項目的詳細資料,請使用 gcloud dataplex entries lookup 指令

REST

如要查看項目的詳細資料,請使用 lookupEntry 方法

後續步驟