Im Dataplex Universal Catalog nach Ressourcen suchen

In diesem Dokument wird beschrieben, wie Sie mit der Suche im Dataplex Universal Catalog nach Ressourcen wie BigQuery-Datasets, Cloud SQL-Instanzen und anderen suchen.

Weitere Informationen zu den Google Cloud Assets, die im Dataplex Universal Catalog unterstützt werden, finden Sie unter Unterstützte Google Cloud Quellen.

Suchbereich

Bei den Suchergebnissen in Dataplex Universal Catalog werden die Berechtigungen berücksichtigt, die Sie für die entsprechenden Ressourcen in Quellsystemen haben.

Wenn Sie beispielsweise BigQuery-Metadaten-Lesezugriff auf ein Objekt haben, wird dieses Objekt in Ihren Dataplex Universal Catalog-Suchergebnissen angezeigt. Wenn Sie Zugriff auf eine BigQuery-Tabelle, aber nicht auf das Dataset haben, das diese Tabelle enthält, wird die Tabelle trotzdem in der Dataplex Universal Catalog-Suche wie erwartet angezeigt.

Die Suchergebnisse enthalten nur Ressourcen, die zur selben Organisation wie das Projekt gehören, unter dem die Suche durchgeführt wird.

Die Suchergebnisse enthalten nur Ressourcen, die zum selben VPC SC-Perimeter gehören wie das Projekt, unter dem die Suche durchgeführt wird. Wenn Sie dieGoogle Cloud -Console verwenden, ist dies das Projekt, das in der Console ausgewählt ist.

Wenn Sie den Umfang Ihrer Suchergebnisse über die Ressourcen innerhalb des VPC Service Controls-Perimeters Ihres Projekts hinaus erweitern möchten, verwenden Sie VPC Service Controls-Regeln für ein- und ausgehenden Traffic. Diese Regeln erleichtern den privaten und effizienten Datenaustausch in Ihrer Organisation. Sie können Regeln für eingehenden und ausgehenden Traffic über dieGoogle Cloud -Konsole oder über JSON- oder YAML-Dateien konfigurieren. Sehen Sie sich das folgende YAML-Beispiel an und lesen Sie die Dokumentation zu VPC Service Controls, um die Regel an Ihre spezifischen Anforderungen anzupassen.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Weitere Informationen zu den Identity and Access Management-Rollen, die Sie für die Suche im Dataplex Universal Catalog benötigen, finden Sie unter Dataplex Universal Catalog-IAM-Rollen.

Suchergebnisse mithilfe von VPC Service Controls nach Umgebung isolieren

Wenn Sie die Suchergebnisse des Dataplex Universal Catalog zwischen Umgebungen wie Entwicklung, Test und Produktion isolieren möchten, konfigurieren Sie separate VPC Service Controls-Perimeter für jede Umgebung. Weisen Sie sowohl die Projekte, die die Daten-Assets enthalten, als auch die Projekte, die für die Suche verwendet werden, dem Perimeter der entsprechenden Umgebung zu. Bei Suchanfragen, die über ein Projekt innerhalb eines bestimmten Perimeters ausgeführt werden, werden nur Ergebnisse für Assets zurückgegeben, die sich ebenfalls innerhalb dieses Perimeters befinden.

Einschränkungen beim Abrufen von Informationen in der Suche

Dataplex Universal Catalog-Suchanfragen garantieren keine vollständige Trefferquote. Ergebnisse, die Ihrer Abfrage entsprechen, werden möglicherweise auch auf nachfolgenden Ergebnisseiten nicht zurückgegeben. Außerdem können die zurückgegebenen (und nicht zurückgegebenen) Ergebnisse variieren, wenn Sie Suchanfragen wiederholen.

Wenn Sie alle Metadaten des Dataplex Universal Catalog abfragen möchten, können Sie die Metadaten in Cloud Storage exportieren und dann in BigQuery abfragen. Weitere Informationen finden Sie unter Metadaten exportieren.

Filter

Mit Filtern können Sie die Suchergebnisse eingrenzen. Alle Filter werden in Abschnitten gruppiert:

  • Systeme wie BigQuery und Cloud SQL. Das Dataplex Universal Catalog-System enthält benutzerdefinierte Einträge.
  • Unter Aspekte (Tags) werden alle verfügbaren Aspekte aufgelistet.
  • Unter Projekt werden alle verfügbaren Projekte aufgelistet.
  • Typaliase beschreiben Ressourcentypen wie Datenbanken, Datasets, Modelle, Tabellen, Ansichten, Dienste und benutzerdefinierte Typen.
  • Datasets stammen aus BigQuery.

Sie können Filter aus mehreren Bereichen kombinieren, um Assets zu finden, die mindestens einer Bedingung aus jedem ausgewählten Bereich entsprechen. Mehrere Filter, die in einem einzelnen Bereich ausgewählt sind, werden mit dem logischen Operator OR ausgewertet.

Sehen Sie sich beispielsweise die Filterkombination im folgenden Bild an (zum Vergrößern auf das Bild klicken). Die folgenden Suchfilter sind ausgewählt: Systeme BigQuery, Typ-Aliase table und view, Aspekte My aspect type 1 und My aspect type 2, Projekt my-test-project und Datasets test_bq_dataset.

Suchfilter mit mehreren Auswahlmöglichkeiten.

Bei der Suche wird nach den folgenden Assets gesucht:

  • BigQuery-Tabellen in test_bq_dataset mit dem Aspekt My aspect type 1
  • BigQuery-Tabellen in test_bq_dataset mit dem Aspekt My aspect type 2
  • BigQuery-Ansichten in test_bq_dataset mit dem Aspekt My aspect type 1
  • BigQuery-Ansichten in test_bq_dataset mit dem Aspekt My aspect type 2

Nach Aspektwert filtern

Mit den Filtern für Aspekte können Sie nach Assets suchen, die mit einer bestimmten Vorlage getaggt wurden. Über das Menü Anpassen können Sie die Ergebnisse weiter eingrenzen und nach bestimmten Aspektwerten filtern. Die Filterbedingungen für Aspektwerte hängen vom Datentyp des entsprechenden Aspektfelds ab. Für die Felder datetime und number können Sie beispielsweise ein bestimmtes Datum oder einen Zeitraum angeben.

Sichtbarkeit von Filtern

Die Filter Systeme, Typ-Aliase, Projekt und Datasets werden je nach aktueller Abfrage im Feld Suche angezeigt.

Hinweise

Bevor Sie nach Ressourcen suchen, müssen Sie die erforderlichen Rollen haben und die API aktivieren.

Erforderliche Rollen

In diesem Abschnitt werden die Rollen und Berechtigungen beschrieben, die zum Suchen nach Ressourcen und zum Zugreifen auf die Suchergebnisse erforderlich sind.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen für die Suche nach Einträgen

Wenn Sie nach Einträgen suchen möchten, benötigen Sie mindestens eine der folgenden IAM-Rollen für das Projekt, das für die Suche verwendet wird: Dataplex Catalog-Administrator, Dataplex Catalog-Bearbeiter oder Dataplex Catalog-Betrachter. Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft.

Erforderliche Rollen für den Zugriff auf Suchergebnisse

Die Suchergebnisse in Dataplex Universal Catalog sind nach Ihrer Rolle aufgeschlüsselt. Wenn Sie in Dataplex Universal Catalog nach einem Asset suchen möchten, benötigen Sie die Berechtigungen für den Zugriff auf die entsprechende Ressource im Quellsystem. Weitere Informationen finden Sie im Abschnitt Suchbereich in diesem Dokument.

Wenn Sie beispielsweise nach BigQuery-Datasets, -Tabellen, -Ansichten und -Modellen suchen möchten, benötigen Sie die entsprechenden Berechtigungen für diese Einträge. Weitere Informationen finden Sie unter BigQuery-Berechtigungen.

In der folgenden Liste werden die erforderlichen Mindestberechtigungen beschrieben:

  • Zum Suchen nach einer Tabelle benötigen Sie die bigquery.tables.get-Berechtigung für diese Tabelle.
  • Zur Suche nach einem Dataset benötigen Sie die Berechtigung bigquery.datasets.get für dieses Dataset.
  • Wenn Sie nach Metadaten für ein Dataset oder eine Tabelle suchen möchten, benötigen Sie die Rolle „BigQuery-Metadaten-Betrachter“ (roles/bigquery.metadataViewer).

Wenn Sie beispielsweise nach Cloud SQL-Instanzen, Datenbanken, Schemas, Tabellen und Ansichten suchen möchten, benötigen Sie die entsprechenden Berechtigungen für diese Einträge. Weitere Informationen finden Sie unter Cloud SQL-Rollen und -Berechtigungen.

Wenn Sie nach benutzerdefinierten Einträgen suchen möchten, benötigen Sie die Rolle „Dataplex Catalog Viewer“ (roles/dataplex.catalogViewer).

API aktivieren

Enable the Dataplex API.

Enable the API

Nach Ressourcen suchen

Console

So suchen Sie nach Ressourcen:

  1. Rufen Sie in der Google Cloud Console die Seite Suche des Dataplex Universal Catalog auf.

    Zur Suche

  2. Wählen Sie unter Suchplattform auswählen den Suchmodus Dataplex Catalog aus.

    Wenn Sie Dataplex Catalog auswählen, können Sie im Dataplex Universal Catalog-Metadatenspeicher suchen. Wenn Sie Data Catalog auswählen, können Sie Ihr Data Catalog-Repository durchsuchen, sofern Sie bereits Data Catalog-Nutzer sind.

  3. Geben Sie Ihre Anfrage in das Suchfeld ein oder verwenden Sie den Bereich Filter, um die Suchparameter zu verfeinern.

    Sie können die folgenden Filter manuell hinzufügen:

    • Projektfilter hinzufügen: Klicken Sie unter Projekt auf Projekt hinzufügen. Suchen Sie nach einem bestimmten Projekt, wählen Sie es aus und klicken Sie dann auf Öffnen.
    • Aspekttypfilter hinzufügen: Klicken Sie unter Aspekte auf das Menü Weitere Aspekttypen hinzufügen. Suchen Sie nach einer bestimmten Vorlage, wählen Sie sie aus und klicken Sie dann auf OK.

  4. Optional: Zusätzlich zu den verfügbaren Assets können Sie nach Ressourcen suchen, die in Google Cloud öffentlich verfügbar sind. Wählen Sie dazu Öffentliche Datasets einschließen aus.

Hier einige Tipps zum Erstellen einer Suchanfrage:

  • Setzen Sie den Suchausdruck in Anführungszeichen, wenn er Leerzeichen enthält. Beispiel: "search terms"

  • Sie können einem Schlüsselwort NOT voranstellen, um die logische Negation des Filters keyword:term zu berücksichtigen. Sie können auch die booleschen Operatoren AND und OR verwenden, um Suchausdrücke zu kombinieren. Bei den Operatoren AND, OR und NOT wird nicht zwischen Groß- und Kleinschreibung unterschieden.

    Beispiel: NOT column:term listet alle Spalten mit Ausnahme derjenigen auf, die dem angegebenen Begriff entsprechen. Eine Liste mit Suchbegriffen und anderen Begriffen, die Sie in einem Dataplex Universal Catalog-Suchausdruck verwenden können, finden Sie unter Suchsyntax.

gcloud

Verwenden Sie den Befehl gcloud dataplex entries search, um nach Ressourcen zu suchen.

REST

Verwenden Sie die Methode searchEntries, um nach Ressourcen zu suchen.

Details eines Eintrags ansehen

Console

Verwenden Sie die Dataplex Universal Catalog-Suche, um die Details eines Eintrags aufzurufen.

  1. Rufen Sie in der Google Cloud Console die Seite Suche des Dataplex Universal Catalog auf.

    Zur Suche

  2. Wählen Sie Dataplex Catalog als Suchmodus aus.

  3. Geben Sie im Suchfeld den Namen eines Eintrags ein.

  4. Klicken Sie auf den Eintrag.

    Die Seite mit den Eintragsdetails wird geöffnet. Die Seite enthält die folgenden Abschnitte:

    • Eintragdetails: Dazu gehören Informationen wie der Eintragstyp, das System, die Plattform, der vollständig qualifizierte Name, die Erstellungszeit, die Zeit der letzten Änderung, die Beschreibung und die Verantwortlichen.
    • Übersicht: Eine Übersicht über den Eintrag, sofern verfügbar.
    • Aspekte: Die erforderlichen und optionalen Aspekte, die für den Eintrag definiert sind. Weitere Informationen finden Sie unter Kategorien von Aspekten.

gcloud

Wenn Sie die Details eines Eintrags aufrufen möchten, verwenden Sie den Befehl gcloud dataplex entries lookup.

REST

Verwenden Sie die Methode lookupEntry, um die Details eines Eintrags aufzurufen.

Nächste Schritte