Ressourcen mit Data Catalog verwalten

Auf dieser Seite wird erläutert, wie Sie mit Data Catalog nach Ihren Spanner-Ressourcen suchen und diese verwalten können.

Data Catalog ist ein vollständig verwalteter, skalierbarer Dienst zur Metadatenverwaltung in Dataplex Universal Catalog. Es katalogisiert automatisch die folgenden Metadaten zu Spanner-Instanzen, ‑Datenbanken, ‑Tabellen, ‑Spalten und ‑Ansichten:

  • Name und vollständig qualifizierter Name
  • Standort (Region)
  • Erstellungsdatum und Datum der letzten Änderung
  • Schema (für Tabellen und Ansichten)
  • Beschreibung

Spanner-Metadaten werden in regelmäßigen Abständen, in der Regel alle paar Stunden, automatisch mit Data Catalog synchronisiert. Mit Data Catalog können Sie Ihre Spanner-Metadaten ermitteln und analysieren. Mit Data Catalog können Sie die folgenden Aktivitäten unterstützen:

  • Analyse, einschließlich Abhängigkeiten und Eignung für einen Anwendungsfall
  • Änderungsmanagement
  • Datenübertragung (Pipelines)
  • Schema-Evolution

Mit Data Catalog können Sie Metadaten verwalten, indem Sie Spanner-Metadateneinträgen Tags zuweisen. Jedes Tag kann mehrere Metadatenfelder enthalten und auf einer vordefinierten oder benutzerdefinierten Tag-Vorlage basieren.

Sie können beispielsweise das folgende Tag an eine Spalte anhängen, die eine Sozialversicherungsnummer enthält, also eine personenidentifizierbare Information:

pii:true
pii_type:SSN

Wenn Sie eine Instanz, die Tags verwendet, verschieben, werden die Tags nicht automatisch auf die Zielinstanz übertragen. Stattdessen müssen Sie vor dem Verschieben der Instanz Tags aus der Quellinstanz exportieren und in die Zielinstanz importieren. Weitere Informationen finden Sie unter Tags exportieren und importieren.

Weitere Informationen zu Data Catalog finden Sie unter Was ist Data Catalog?.

Hinweise

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Aktivieren Sie die Data Catalog API für das Projekt.

    Data Catalog API aktivieren

  7. Prüfen Sie die Berechtigungen.

    Sie benötigen bestimmte IAM-Rollen und -Berechtigungen (Identity and Access Management), um Tags für Spanner-Assets zu suchen und an sie anzuhängen. Weitere Informationen finden Sie unter Erforderliche IAM-Rollen und -Berechtigungen für den Data Catalog.

    8. Tag-Vorlagen erstellen

    Tag-Vorlagen sind wiederverwendbare Strukturen, mit denen Sie schnell neue Tags erstellen können. Mithilfe von Vorlagen lassen sich doppelte Arbeit und unvollständige Tags vermeiden. Erstellen Sie so viele Tag-Vorlagen, wie Sie benötigen.

    Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

    Tags an Spanner-Assets anhängen

    Wenn Sie Spanner-Assets Tags zuweisen, haben Sie folgende Möglichkeiten:

    • Fügen Sie den Assets geschäftliche Metadaten hinzu.
    • Sie können anhand von geschäftlichen Metadaten und anderen benutzerdefinierten Metadaten nach Assets suchen.

    Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

    Nach Spanner-Assets suchen

    Verwenden Sie die Dataplex Universal Catalog-Suchseite in der Google Cloud Console, um nach Spanner-Assets zu suchen.

    1. Rufen Sie in Dataplex Universal Catalog die Seite „Suche“ auf.

      Zur Suche

    2. Wählen Sie im Bereich „Filter“ unter Systeme die Option Spanner aus.

      Dataplex Universal Catalog zeigt alle bekannten Spanner-Assets an.

    3. Optional: Sie haben folgende Möglichkeiten, die Suche einzugrenzen:

      • Verwenden Sie die facettierte Suche auf der Seite Suchen. Klicken Sie die Kästchen unter Datentypen, Projekte und Tags an.

      • Fügen Sie im Suchfeld einen Suchparameter nach system=cloud_spanner an. Trennen Sie Parameter durch Leerzeichen.

      Wenn Sie beispielsweise nur Datenbanken anzeigen möchten, geben Sie den folgenden Text in das Suchfeld ein und drücken Sie Enter.

       system=cloud_spanner type=database

      Sie können auch Klammern und die logischen Operatoren and und or für komplexe Ausdrücke verwenden. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden können, finden Sie unter Data Catalog-Suchsyntax.

    4. Klicken Sie in der Ergebnistabelle auf den Namen eines Assets, um die Metadaten für dieses Asset aufzurufen.

    5. Optional: Sie haben außerdem die folgenden Möglichkeiten:

      • Klicken Sie auf ÜBERSICHT HINZUFÜGEN, um eine Rich-Text-Beschreibung des Assets hinzuzufügen.
      • Klicken Sie auf TAGS ANHÄNGEN, um dem Asset ein Tag hinzuzufügen.
      • Klicken Sie für eine Tabelle auf den Tab SCHEMA, um die Tabellenspalten aufzurufen.
      • Wenn Sie die Mitgliedsdatenbanken für eine Instanz (SERVICE) aufrufen möchten, klicken Sie auf den Tab EINTRAGSLISTE und dann auf UNTERGEORDNETE EINTRÄGE IN DER SUCHE ANZEIGEN. Wenn der Tab ENTRY LIST (Eintragsliste) nicht angezeigt wird, hat die Instanz keine Datenbanken.

    Beispielworkflow – Von Instanz zu Spalten aufschlüsseln

    In diesem Beispielworkflow suchen Sie zuerst nach einer Spanner-Instanz, rufen dann eine Mitgliederdatenbank und dann eine Tabelle in dieser Datenbank auf und rufen dann die Spalten in der Tabelle auf.

    1. Rufen Sie in Dataplex Universal Catalog die Seite „Suche“ auf.

      Zur Suche

    2. Wählen Sie im Bereich „Filter“ unter Systeme die Option Spanner aus.

    3. Wenn Sie alle Spanner-Instanzen in Data Catalog aufrufen möchten, wählen Sie entweder das Kästchen Dienst unter Datentypen aus oder geben Sie den folgenden Text in das Suchfeld ein und drücken Sie Enter.

      system=cloud_spanner type=service

    4. Wählen Sie einen Instanznamen aus.

    5. Klicken Sie auf der Seite Spanner-Dienstdetails auf den Tab EINTRAGSLISTE und dann auf UNTERGEORDNETE EINTRÄGE IN DER SUCHE ANZEIGEN.

      Im Dataplex Universal Catalog werden die Datenbanken in der Instanz angezeigt.

    6. Klicken Sie auf der Seite Spanner-Datenbankdetails auf den Tab ENTRY LIST (Eintragsliste) und dann auf VIEW CHILD ENTRIES IN SEARCH (Untergeordnete Einträge in der Suche ansehen).

      Im Dataplex Universal Catalog werden die Tabellen in der Datenbank angezeigt.

    7. Wählen Sie einen Tabellennamen aus und klicken Sie dann auf der Seite Spanner-Tabellendetails auf SCHEMA, um die Tabellenspalten aufzurufen.

    8. Optional: Wenn Sie einer Spalte ein Tag hinzufügen möchten, klicken Sie unter Spaltentags auf das Pluszeichen.

    Tags exportieren und importieren

    Wenn Sie eine Spanner-Instanz verschieben, werden die Instanz-Tags, die Sie in Data Catalog erstellt haben, während des Verschiebevorgangs gelöscht. So behalten Sie Ihre Tags:

    • Fragen Sie die mit der Instanz verknüpften Tags ab.
    • Kopieren Sie die Details für die Tags.
    • Erstellen Sie die Tags auf der migrierten Instanz.

    Spanner synchronisiert Daten alle 6 Stunden. Es kann etwa 6 Stunden dauern, bis Änderungen an Metadaten von Spanner-Assets wie Instanzen, Datenbanken, Tabellen, Ansichten oder Spalten in Data Catalog übernommen werden.

    Tags aus der Quellinstanzkonfiguration exportieren

    Verwenden Sie den Google Cloud CLI-Befehl gcloud data-catalog tags list, um die Tags für einen Eintrag oder eine Eintragsgruppe aufzulisten:

    curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

    Ersetzen Sie Folgendes:

    • PROJECT: Das Projekt, das die Tags enthält.
    • LOCATION: Speicherort für die Tags.
    • API_KEY: Ein eindeutiger String, mit dem Sie auf eine API zugreifen können.
    • ACCESS_TOKEN: Das Zugriffstoken, das Ihre Anwendung zur Authentifizierung beim Dienst verwendet.

    Tags in die Zielkonfiguration importieren

    Bevor Sie diesen Vorgang ausführen, müssen Sie Folgendes tun:

    Wenn Sie ein Tag kopieren möchten, erstellen Sie die Tags in der migrierten Instanz mit dem Befehl gcloud data-catalog tags create:

    curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

    Ersetzen Sie Folgendes:

    • FQN: Vollständig qualifizierter Name (Fully Qualified Name, FQN) der Ressource. FQNs haben zwei Formen:

      Für nicht regionalisierte Ressourcen: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

      Für regionalisierte Ressourcen: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

      Beispiel für eine DPMS-Tabelle:

      dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

    • LOCATION: Der Ort, an dem die Suche durchgeführt wird.

    • PROJECT: Das Projekt, in dem die Suche ausgeführt wird.

    • API_KEY: Ein eindeutiger String, mit dem Sie auf eine API zugreifen können.

    • ACCESS_TOKEN: Das Zugriffstoken, das Ihre Anwendung zur Authentifizierung beim Dienst verwendet.

    Erforderliche IAM-Rollen und -Berechtigungen für Data Catalog

    In der folgenden Tabelle sind die erforderlichen IAM-Rollen und -Berechtigungen für die verschiedenen Data Catalog-Vorgänge aufgeführt.

    Data Catalog-Vorgang Spanner-Ressource Erforderliche Rollen oder Berechtigungen
    Tag-Vorlage erstellen – roles/datacatalog.tagTemplateCreator
    Nach Spanner-Ressourcen suchen Instanz spanner.instances.get
    Datenbank spanner.databases.get
    Tabelle spanner.databases.get
    Aufrufe spanner.databases.get
    Öffentliche Tags ansehen Instanz spanner.instances.get
    Datenbank spanner.databases.get
    Tabelle spanner.databases.get
    Aufrufe spanner.databases.get
    Private Tags ansehen Instanzen datacatalog.tagTemplates.getTag + spanner.instances.get
    Datenbanken datacatalog.tagTemplates.getTag + spanner.databases.get
    Tabellen datacatalog.tagTemplates.getTag + spanner.databases.get
    Aufrufe datacatalog.tagTemplates.getTag + spanner.databases.get
    Tag mithilfe einer Tag-Vorlage an eine Spanner-Ressource anhängen Instanzen datacatalog.tagTemplates.use + spanner.instances.updateTag
    Datenbanken datacatalog.tagTemplates.use + spanner.databases.updateTag
    Tabellen datacatalog.tagTemplates.use + spanner.databases.updateTag
    Aufrufe datacatalog.tagTemplates.use + spanner.databases.updateTag

    Die Berechtigung spanner.instances.UpdateTag ist in der folgenden Rolle enthalten:

    • roles/spanner.admin

    Die Berechtigung spanner.databases.UpdateTag ist in den folgenden Rollen enthalten:

    • roles/spanner.admin
    • roles/spanner.databaseAdmin
    • roles/spanner.databaseUser

    Weitere Informationen finden Sie unter Vordefinierte Rollen.

    Nächste Schritte