Cercare risorse nel Catalogo universale Dataplex

Questo documento descrive come utilizzare la ricerca in Dataplex Universal Catalog per cercare risorse come set di dati BigQuery, istanze Cloud SQL e altre.

Dataplex Universal Catalog offre due modalità di ricerca: ricerca per parole chiave e ricerca in linguaggio naturale (anteprima).

La ricerca per parole chiave consente di trovare risorse utilizzando parole chiave, filtri e una sintassi definiti.

La ricerca nel linguaggio naturale estende la ricerca per parole chiave per supportare le query in linguaggio naturale. Consente di trovare risorse utilizzando un linguaggio comune, eliminando la necessità di una sintassi complessa.

Per saperne di più sugli Google Cloud asset supportati in Dataplex Universal Catalog, consulta Origini Google Cloud supportate.

Ambito di ricerca

I risultati della ricerca in Dataplex Universal Catalog rispettano le autorizzazioni che hai sulle risorse corrispondenti nei sistemi di origine.

Ad esempio, se hai accesso in lettura ai metadati BigQuery di un oggetto, questo viene visualizzato nei risultati della ricerca di Dataplex Universal Catalog. Se hai accesso a una tabella BigQuery, ma non al set di dati che la contiene, la tabella viene comunque visualizzata come previsto nella ricerca di Dataplex Universal Catalog.

Per impostazione predefinita, la ricerca è limitata alla tua organizzazione. I risultati includono solo le risorse della stessa organizzazione del progetto in cui esegui la ricerca.

I risultati della ricerca includono solo le risorse che appartengono allo stesso perimetro dei controlli di servizio VPC del progetto in cui viene eseguita la ricerca. Quando utilizzi la consoleGoogle Cloud , questo è il progetto selezionato nella console.

Per ampliare l'ambito dei risultati di ricerca oltre le risorse all'interno del perimetro dei Controlli di servizio VPC del tuo progetto, utilizza le regole di entrata e uscita dei Controlli di servizio VPC. Queste regole facilitano lo scambio di dati privato ed efficiente all'interno della tua organizzazione. Puoi configurare le regole di ingresso e di uscita utilizzando la consoleGoogle Cloud o tramite file JSON o YAML. Fai riferimento all'esempio YAML e consulta la documentazione sui controlli di servizio VPC per adattare la regola ai tuoi requisiti specifici.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Per saperne di più sui ruoli Identity and Access Management necessari per utilizzare la ricerca di Dataplex Universal Catalog, consulta Ruoli IAM per Dataplex Universal Catalog.

Isolare i risultati di ricerca per ambiente utilizzando i Controlli di servizio VPC

Per isolare i risultati della ricerca di Dataplex Universal Catalog tra ambienti come sviluppo, test e produzione, configura perimetri di Controlli di servizio VPC separati per ogni ambiente. Assegna sia i progetti che contengono gli asset di dati sia i progetti utilizzati per eseguire le ricerche al perimetro dell'ambiente corrispondente. Le ricerche eseguite da un progetto all'interno di un perimetro specifico restituiranno solo risultati per gli asset che si trovano anche all'interno dello stesso perimetro.

Limitazioni del ritiro nella ricerca

Le query di ricerca di Dataplex Universal Catalog non garantiscono il recupero completo. Potrebbero non essere restituiti risultati corrispondenti alla tua query. Inoltre, i risultati restituiti (e non restituiti) possono variare se ripeti le query di ricerca.

Per eseguire query su tutti i metadati del Catalogo universale Dataplex, puoi esportarli in Cloud Storage e poi eseguire query da BigQuery. Per saperne di più, vedi Esportare i metadati.

Filtri

I filtri ti consentono di restringere i risultati di ricerca. I filtri sono disponibili sia nella ricerca per parole chiave sia in quella in linguaggio naturale, ma le opzioni disponibili potrebbero variare leggermente a seconda della modalità.

Quando fornisci filtri in più sezioni, questi vengono valutati utilizzando l'operatore logico AND. I risultati di ricerca contengono risorse che corrispondono ad almeno una condizione di ogni sezione selezionata. Ad esempio, se selezioni il sistema BigQuery e il tipo di risorsa del set di dati, i risultati della ricerca includono i set di dati BigQuery, ma non i set di dati Vertex AI.

Se selezioni più filtri all'interno di una singola sezione, questi vengono valutati utilizzando l'operatore logico OR. Ad esempio, se selezioni il tipo di risorsa set di dati e il tipo di risorsa tabella, i risultati di ricerca includono sia i set di dati sia le tabelle.

Filtri di ricerca per parole chiave

Per la ricerca di parole chiave, i filtri sono raggruppati nelle seguenti sezioni:

  • Sistemi come BigQuery, Cloud SQL e altri. Il sistema Dataplex Universal Catalog contiene voci personalizzate.
  • L'elenco Aspetti (tag) mostra tutti gli aspetti a tua disposizione.
  • Progetto elenca tutti i progetti a tua disposizione.
  • Gli alias del tipo descrivono i tipi di risorse, come database, set di dati, modelli, tabelle, viste, servizi e tipi personalizzati.
  • I set di dati provengono da BigQuery.

Filtra per valore dell'aspetto

I filtri Aspetti consentono di eseguire query per le risorse taggate utilizzando un modello specifico. Puoi utilizzare il menu Personalizza per perfezionare ulteriormente i risultati e filtrarli in base a valori di aspetti specifici. Le condizioni di filtro del valore dell'aspetto dipendono dal tipo di dati del campo dell'aspetto. Ad esempio, per i campi datetime e number, puoi specificare una data o un intervallo specifici.

Filtrare la visibilità

I filtri Sistemi, Alias di tipo, Progetto e Set di dati vengono visualizzati a seconda della query corrente nel campo Cerca.

Filtri di ricerca in linguaggio naturale

Per la ricerca in linguaggio naturale sono disponibili i seguenti filtri:

  • Ambito: esegui la ricerca nell'organizzazione (impostazione predefinita), nel progetto corrente o solo per le risorse preferite. Per saperne di più, consulta la sezione Ambito di ricerca di questo documento.
  • Sistemi: il servizio Google Cloud a cui appartiene la risorsa, ad esempio BigQuery. Il sistema Dataplex Universal Catalog contiene gruppi di voci.
  • Progetti: i progetti in cui eseguire la ricerca.
  • Tipo: il tipo di risorsa, ad esempio connessione BigQuery, bucket Cloud Storage o database. A seconda del tipo di risorsa, puoi anche filtrare per sottotipo, ad esempio il tipo di connessione o il dialetto SQL.
  • Seleziona località: le località in cui eseguire la ricerca.
  • Seleziona set di dati: i risultati della ricerca sono limitati alle risorse BigQuery appartenenti ai set di dati BigQuery selezionati. Nel campo Digita per filtrare, inserisci il nome del set di dati.
  • Tipi di aspetto: i tipi di aspetto di Dataplex Universal Catalog associati alla risorsa che stai cercando. Per filtrare in base ai valori degli aspetti, fai clic su Filtra in base ai valori delle annotazioni e poi seleziona i valori.

Prima di iniziare

Prima di eseguire la ricerca, assicurati di disporre dei ruoli richiesti e di aver abilitato l'API necessaria.

Ruoli obbligatori

Questa sezione descrive i ruoli e le autorizzazioni necessari per cercare le risorse e per accedere ai risultati di ricerca.

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Ruoli obbligatori per la ricerca di voci

Per cercare le voci, devi disporre di almeno uno dei seguenti ruoli IAM nel progetto utilizzato per la ricerca: Amministratore Dataplex Catalog, Editor Dataplex Catalog o Visualizzatore Dataplex Catalog. Le autorizzazioni sui risultati di ricerca vengono verificate indipendentemente dal progetto selezionato.

Ruoli obbligatori per accedere ai risultati di ricerca

I risultati della ricerca in Dataplex Universal Catalog sono limitati in base al tuo ruolo. Per cercare un asset in Dataplex Universal Catalog, devi disporre delle autorizzazioni per accedere alla risorsa corrispondente nel sistema di origine. Per saperne di più, consulta la sezione Ambito di ricerca di questo documento.

Ad esempio, per cercare set di dati, tabelle, viste e modelli BigQuery, devi disporre delle rispettive autorizzazioni per queste voci. Per ulteriori informazioni, vedi Autorizzazioni BigQuery.

Il seguente elenco descrive le autorizzazioni minime richieste:

  • Per cercare una tabella, devi disporre dell'autorizzazione bigquery.tables.get per quella tabella.
  • Per cercare un set di dati, devi disporre dell'autorizzazione bigquery.datasets.get per quel set di dati.
  • Per cercare i metadati di un set di dati o di una tabella, devi disporre del ruolo Visualizzatore metadati BigQuery (roles/bigquery.metadataViewer).

Come altro esempio, per cercare istanze, database, schemi, tabelle e viste Cloud SQL, devi disporre delle rispettive autorizzazioni per queste voci. Per ulteriori informazioni, consulta Ruoli e autorizzazioni di Cloud SQL.

Per cercare le voci personalizzate, devi disporre del ruolo Dataplex Catalog Viewer (roles/dataplex.catalogViewer).

Abilita l'API

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Cerca risorse

Console

Per cercare risorse, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Cerca di Dataplex Universal Catalog.

    Vai a Cerca

  2. Per Scegli piattaforma di ricerca, seleziona Dataplex Universal Catalog.

    Se selezioni Dataplex Universal Catalog, puoi cercare nell'archivio dei metadati di Dataplex Universal Catalog. Selezionando Data Catalog puoi cercare nel repository di Data Catalog, se sei un utente esistente di Data Catalog.

  3. Per utilizzare la ricerca per parole chiave:

    1. Nel campo Trova risorse tra progetti, inserisci la query.

    2. Per perfezionare la ricerca, utilizza il riquadro Filtri. Per l'elenco dei filtri disponibili, consulta Filtri di ricerca per parole chiave.

      Puoi aggiungere manualmente i seguenti filtri:

      • Aggiungi un filtro per progetto: in Progetto, fai clic su Aggiungi progetto. Cerca un progetto specifico, selezionalo e fai clic su Apri.
      • Aggiungi un filtro per tipo di aspetto: in Aspetti, fai clic sul menu Aggiungi altri tipi di aspetto. Cerca un modello specifico, selezionalo e poi fai clic su Ok.

    3. (Facoltativo) Oltre agli asset a tua disposizione, puoi cercare risorse disponibili pubblicamente in Google Cloud selezionando Includi set di dati pubblici.

      Utilizza i seguenti suggerimenti per creare una query di ricerca:

      • Racchiudi l'espressione di ricerca tra virgolette se contiene spazi. Ad esempio, "search terms".
      • Precedi una parola chiave con NOT per trovare la negazione logica del filtro keyword:term. Puoi anche utilizzare gli operatori booleani AND e OR per combinare le espressioni di ricerca. Gli operatori AND, OR e NOT non sono sensibili alle maiuscole.

      Ad esempio, NOT column:term elenca tutte le colonne tranne quelle che corrispondono al termine specificato. Per un elenco di parole chiave e altri termini che puoi utilizzare in un'espressione di ricerca di Dataplex Universal Catalog, consulta Sintassi di ricerca.

  4. Per utilizzare la ricerca in linguaggio naturale, segui questi passaggi:

    1. Fai clic su Prova la ricerca in linguaggio naturale.

    2. Nel campo Trova risorse tra i progetti con il linguaggio naturale, inserisci la query in linguaggio naturale e premi Invio.

      Di seguito sono riportate alcune query di esempio:

      • Show me the datasets that contain taxi information
      • Find data on vaccine distribution across different countries
      • Get tables with historical temperature data for major world cities
      • Search for hurricane tracking and storm activity datasets
      • Population data by country

    3. Per perfezionare la ricerca, fai clic su Filtri. Per l'elenco dei filtri disponibili, consulta Filtri di ricerca in linguaggio naturale.

  5. Per visualizzare ulteriori informazioni sulla risorsa cercata, fai clic sul nome della risorsa nei risultati di ricerca. Viene visualizzata la pagina dei dettagli della voce.

gcloud

Per cercare le risorse, utilizza il comando gcloud dataplex entries search.

REST

Per cercare le risorse, utilizza il metodo searchEntries.

Visualizzare i dettagli di una voce

Console

Utilizza la ricerca di Dataplex Universal Catalog per visualizzare i dettagli di una voce.

  1. Cerca una voce in Dataplex Universal Catalog.

  2. Nei risultati di ricerca, fai clic sulla voce di cui vuoi visualizzare i dettagli.

    Viene visualizzata la pagina dei dettagli della voce. La pagina include le seguenti sezioni:

    • Dettagli voce: include informazioni come tipo di voce, sistema, piattaforma, nome completo, ora di creazione, ora dell'ultima modifica, descrizione e responsabili.
    • Panoramica: una panoramica della voce, se disponibile.
    • Aspetti: gli aspetti obbligatori e facoltativi definiti per la voce. Per maggiori informazioni, vedi Categorie di aspetti.

gcloud

Per visualizzare i dettagli di una voce, utilizza il comando gcloud dataplex entries lookup.

REST

Per visualizzare i dettagli di una voce, utilizza il metodo lookupEntry.

Limitazioni

Di seguito sono riportate le limitazioni della ricerca in linguaggio naturale:

  • La ricerca in linguaggio naturale è ottimizzata per la scoperta e l'esplorazione restituendo un insieme limitato dei risultati più pertinenti. Potrebbe non fornire un elenco esaustivo di tutti gli elementi corrispondenti e pertanto potrebbe non essere adatto a carichi di lavoro che dipendono da questo, come le pipeline di cura.

  • La ricerca nel linguaggio naturale prende in considerazione solo i metadati delle risorse, inclusi schemi, descrizioni e aspetti. Non risponde a domande sui dati all'interno delle tabelle (ad esempio "Quali sono state le vendite del mese scorso?") né esegue query analitiche sui metadati (ad esempio "Quante tabelle ci sono nel set di dati X?").

  • Le risorse pubbliche non rientrano nell'ambito della ricerca in linguaggio naturale.

Passaggi successivi