在 Dataplex Universal Catalog 中搜尋資源

本文說明如何使用 Dataplex Universal Catalog 搜尋功能，搜尋 BigQuery 資料集、Cloud SQL 執行個體等資源。

Dataplex Universal Catalog 提供兩種搜尋模式：關鍵字搜尋和自然語言搜尋 (搶先版)。

您可以使用特定關鍵字、篩選器和定義的語法，透過關鍵字搜尋尋找資源。

自然語言搜尋功能可擴充關鍵字搜尋，支援自然語言查詢。您可以使用日常用語尋找資源，不必再使用複雜的語法。

如要進一步瞭解 Dataplex Universal Catalog 支援的 Google Cloud 資產，請參閱「支援的 Google Cloud 來源」。

搜尋範圍

Dataplex Universal Catalog 的搜尋結果會遵守您在來源系統中對應資源的權限。

舉例來說，如果您有物件的 BigQuery 中繼資料讀取權，該物件就會顯示在 Dataplex 通用目錄的搜尋結果中。如果您有權存取 BigQuery 資料表，但無權存取包含該資料表的資料集，資料表仍會如預期顯示在 Dataplex Universal Catalog 搜尋結果中。

根據預設，搜尋範圍會限定在貴機構。結果只會顯示與您搜尋專案同屬一個機構的資源。

搜尋結果只會列出與執行搜尋的專案屬於相同 VPC-SC 範圍的資源。使用Google Cloud 控制台時，這是您在控制台中選取的專案。

如要將搜尋結果範圍擴大到專案的 VPC Service Controls 範圍以外的資源，請使用 VPC Service Controls 輸入和輸出規則。這些規則可促進貴機構內私密且有效率的資料交換。您可以使用Google Cloud 主控台，或透過 JSON 或 YAML 檔案設定輸入和輸出規則。請參閱下列 YAML 範例，並參閱 VPC Service Controls 說明文件，根據您的特定需求調整規則。

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

如要進一步瞭解使用 Dataplex Universal Catalog 搜尋功能所需的 Identity and Access Management 角色，請參閱「Dataplex Universal Catalog IAM 角色」。

使用 VPC Service Controls 依環境隔離搜尋結果

如要區隔開發、測試和實際工作等環境的 Dataplex Universal Catalog 搜尋結果，請為每個環境設定個別的 VPC Service Controls 邊界。將包含資料資產的專案，以及用於執行搜尋的專案，都指派給相應環境的周邊。從特定範圍內的專案執行搜尋時，系統只會傳回位於相同範圍內的資產結果。

搜尋中的回想限制

Dataplex Universal Catalog 搜尋查詢無法保證完整召回。 系統可能不會傳回與查詢相符的結果。此外，如果重複搜尋查詢，傳回 (和未傳回) 的結果可能會有所不同。

如要查詢所有 Dataplex Universal Catalog 中繼資料，您可以將中繼資料匯出至 Cloud Storage，然後從 BigQuery 查詢。詳情請參閱「匯出中繼資料」。

篩選器

篩選器可縮小搜尋結果範圍。關鍵字和自然語言搜尋都提供篩選器，但可用的選項可能因模式而略有不同。

如果您在多個部分提供篩選器，系統會使用 AND 邏輯運算子評估這些篩選器。搜尋結果會包含符合所選每個部分中至少一項條件的資源。舉例來說，如果您選取 BigQuery 系統和資料集資源類型，搜尋結果會包含 BigQuery 資料集，但不包含 Vertex AI 資料集。

如果您在單一區段中選取多個篩選器，系統會使用 OR 邏輯運算子評估這些篩選器。舉例來說，如果您選取資料集資源類型和資料表資源類型，搜尋結果就會同時包含資料集和資料表。

關鍵字搜尋篩選器

如果是關鍵字搜尋，篩選器會歸入下列區段：

• 系統，例如 BigQuery、Cloud SQL 等。Dataplex Universal Catalog 系統包含自訂項目。
• 「切面 (標記)」清單會列出所有可用的切面。
• 「專案」會列出您可用的所有專案。
• 類型別名會說明資源類型，例如資料庫、資料集、模型、資料表、檢視區塊、服務和自訂類型。
• 資料集來自 BigQuery。

依切面值篩選

使用「面向」篩選器，即可查詢以特定範本標記的資產。你可以使用「自訂」選單進一步修正結果，並依特定面向值篩選。屬性值篩選條件取決於該屬性欄位的資料類型。舉例來說，您可以為 datetime 和 number 欄位指定特定日期或範圍。

篩選瀏覽權限

系統會根據「搜尋」欄位中的目前查詢，顯示「系統」、「型別別名」、「專案」和「資料集」篩選器。

自然語言搜尋篩選器

自然語言搜尋提供下列篩選器：

• 範圍：在整個機構 (預設)、目前專案或僅限已加星號的資源中搜尋。詳情請參閱本文的「搜尋範圍」一節。
• 系統：資源所屬的服務，例如 BigQuery。 Google Cloud Dataplex Universal Catalog 系統包含項目群組。
• 專案：要搜尋的專案。
• 類型：資源類型，例如 BigQuery 連線、Cloud Storage 值區或資料庫。視資源類型而定，您也可以依子類型篩選，例如連線類型或 SQL 方言。
• 選取地點：要搜尋的地點。
• 選取資料集：搜尋結果僅限於屬於所選 BigQuery 資料集的 BigQuery 資源。在「Type to filter」(輸入以篩選) 欄位中，輸入資料集的名稱。
• 切面類型：與您要搜尋的資源相關聯的 Dataplex Universal Catalog切面類型。如要依層面值篩選，請按一下「篩選註解值」，然後選取值。

事前準備

執行搜尋前，請確認您已獲授予必要角色，並啟用必要的 API。

必要的角色

本節說明搜尋資源及存取搜尋結果所需的角色和權限。

如要進一步瞭解如何授予角色，請參閱管理存取權。

您或許還可透過自訂角色或其他預先定義的角色取得必要權限。

搜尋項目所需的角色

如要在專案搜尋項目，至少須具備該項專案的其中一個 IAM 角色：Dataplex Catalog 管理員、Dataplex Catalog 編輯者或 Dataplex Catalog 檢視者。系統會檢查搜尋結果的權限，與所選專案無關。

存取搜尋結果所需的角色

Dataplex Universal Catalog 的搜尋結果會根據您的角色調整範圍。如要在 Dataplex Universal Catalog 中搜尋資產，您必須有權存取來源系統中的相應資源。詳情請參閱本文的「搜尋範圍」一節。

舉例來說，如要搜尋 BigQuery 資料集、資料表、檢視區塊和模型，您必須具備這些項目的相應權限。詳情請參閱 BigQuery 權限。

以下列出所需的最低權限：

• 如要搜尋資料表，您必須具備該資料表的 bigquery.tables.get 權限。
• 如要搜尋資料集，您必須具備該資料集的 bigquery.datasets.get 權限。
• 如要搜尋資料集或資料表的中繼資料，您需要 BigQuery 中繼資料檢視者角色 (roles/bigquery.metadataViewer)。

舉例來說，如要搜尋 Cloud SQL 執行個體、資料庫、結構定義、資料表和檢視區塊，您必須具備這些項目的相應權限。詳情請參閱 Cloud SQL 角色和權限。

如要搜尋自訂項目，您需要 Dataplex Catalog 檢視者角色 (roles/dataplex.catalogViewer)。

啟用 API

Enable the Dataplex API.

Enable the API

搜尋資源

查看項目詳細資料

限制

自然語言搜尋有以下限制：

• 自然語言搜尋功能會傳回一組最相關的結果，因此非常適合用於探索和發掘內容。這項功能可能無法提供所有相符項目的完整清單，因此可能不適合依此執行的工作負載，例如內容策展管道。

• 自然語言搜尋只會考量資源中繼資料，包括結構定義、說明和層面。無法回答資料表中的資料相關問題 (例如「上個月的銷售額是多少？」)，也無法對中繼資料執行分析查詢 (例如「資料集 X 中有多少資料表？」)。

• 自然語言搜尋功能不會搜尋公開資源。

後續步驟

• 瞭解 Dataplex Universal Catalog 的搜尋語法。
• 進一步瞭解 Dataplex Universal Catalog 的中繼資料管理功能。
• 瞭解如何使用層面，透過中繼資料擴充項目。
• 瞭解如何管理項目及擷取自訂來源。