Daten-Assets mit Data Catalog verwalten

Data Catalog katalogisiert automatisch Metadaten zu Bigtable-Ressourcen. Mit diesem Feature kann Ihre Organisation nach Bigtable-Daten-Assets suchen und diese verwalten.

Metadaten werden für die folgenden Bigtable-Ressourcen automatisch von Bigtable mit Data Catalog synchronisiert:

  • Instanzen
  • Cluster
  • Tabellen, einschließlich Details zur Spaltenfamilie

Data Catalog ist ein vollständig verwalteter Dienst zur Metadatenverwaltung. Es stellt einheitliche Ansichts- und Tagging-Mechanismen für technische und geschäftliche Metadaten bereit. Weitere Informationen zu Data Catalog und den Vorteilen der Verwendung finden Sie unter Was ist Data Catalog?.

Vorteile der Verwendung von Data Catalog mit Bigtable

Data Catalog-Informationen zu Ihren Daten können die Analyse, die Wiederverwendung von Daten, die Anwendungsentwicklung und die Datenverwaltung erleichtern.

Sie können Einträge in Data Catalog nach Ressourcennamen oder Details suchen. Sie können beispielsweise nach einem Instanznamen suchen, um den Eintrag für eine Instanz zu finden, oder nach einer Spaltenfamilie, um den Eintrag für eine Tabelle zu finden. Sie können auch eine facettierte Suche verwenden und Filter anwenden, um Ihre Suche einzugrenzen. Weitere Informationen finden Sie unter Datenassets mit Data Catalog suchen und ansehen.

Durch das Taggen von Daten-Assets können Sie die Daten in Ihren Bigtable-Tabellen verstehen und katalogisieren. So werden die Daten für andere Data Catalog-Nutzer und als Teil Ihres größeren Datenbestands besser auffindbar und suchbar. Mit Tags können Sie Ihren katalogisierten Metadaten eigene Metadaten hinzufügen und dann mit diesen Tags suchen.

Erste Schritte mit Data Catalog

Führen Sie die folgenden Aufgaben aus, um mit Data Catalog Ihre Bigtable-Daten-Assets zu verwalten:

  1. Wenn Sie Data Catalog noch nicht kennen, aktivieren Sie die API.

  2. Weisen Sie Hauptkonten IAM-Rollen zu, die Zugriff auf Bigtable-Einträge in Data Catalog benötigen.

  3. Weitere Informationen zur Suche nach Daten-Assets finden Sie unter Mit Data Catalog suchen.

  4. Unter Data Catalog-Suchsyntax finden Sie Informationen dazu, wie Sie Ihre Metadaten finden.

  5. Informationen zum Taggen von Data Catalog-Einträgen finden Sie unter Tags und Tag-Vorlagen.

Bigtable-Metadaten suchen

Sie können mit Data Catalog nach synchronisierten Bigtable-Metadaten suchen.

Zusätzlich zu Standardqualifizierern können Sie mit den folgenden Optionen nach Bigtable-Ressourcen suchen:

  • Instanz

    • Name der Bigtable-Instanz
    • Bigtable-Instanz-ID
    • Clusterstandort
    • Cluster-ID

  • Tabelle

    • Tabellen-ID
    • Name der Spaltenfamilie
    • Name der Bigtable-Instanz
    • Bigtable-Instanz-ID

Erforderliche Rollen

Für das Aufrufen, Taggen und Suchen von Bigtable-Ressourcen in Data Catalog gelten unterschiedliche Berechtigungsanforderungen. Im Allgemeinen sollten Sie Hauptkonten in Ihrer Organisation die Mindestrolle zuweisen, die für die Ausführung einer Aufgabe erforderlich ist.

Berechtigung zum Ansehen öffentlicher und privater Tags

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen öffentlicher und privater Tags für Bigtable-Ressourcen benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aufrufen öffentlicher und privater Tags erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Berechtigung zum Suchen in Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Suchen von Bigtable-Ressourcen in Data Catalog benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Suchen nach Bigtable-Ressourcen erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Berechtigung zum Anhängen von Tags an Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Anhängen von Tags an Bigtable-Ressourcen in Data Catalog benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Hinzufügen öffentlicher und privater Tags erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

Optional: Benutzerdefinierte Rolle erstellen

Sie können eine benutzerdefinierte Rolle erstellen, die Nutzern zugewiesen wird, die vollständigen Zugriff auf alle Bigtable-Metadaten in Data Catalog in Ihrem Projekt oder Ihrer Organisation benötigen. Anschließend können Sie jeden Nutzer oder jedes Dienstkonto, das Zugriff benötigt, zum Hauptkonto der benutzerdefinierten Rolle machen. Weitere Informationen zu benutzerdefinierten Rollen

Wählen Sie einen aussagekräftigen Namen für die Rolle aus, z. B. Bigtable Data Catalog-Bearbeiter, und weisen Sie dann nur die Hauptkonten zu, die Zugriff auf die Rolle benötigen. Eine Anleitung zum Einrichten finden Sie unter Benutzerdefinierte Rolle erstellen.

Weisen Sie der benutzerdefinierten Rolle die folgenden Berechtigungen zu:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Weitere Informationen zu Data Catalog-Berechtigungen finden Sie unter Rollen für die Suche nachGoogle Cloud -Ressourcen. Beschreibungen der Bigtable-Berechtigungen finden Sie unter Berechtigungen.

Bekannte Einschränkungen

Im folgenden Abschnitt sind einige Einschränkungen aufgeführt, die Sie beachten müssen, bevor Sie Data Catalog zum Verwalten Ihrer Bigtable-Metadaten verwenden.

Standorteinschränkungen

Wenn in Ihrer Organisation Standorteinschränkungen eingerichtet wurden, werden Metadateneinträge für Ihre Bigtable-Ressourcen möglicherweise nicht mit Data Catalog synchronisiert. Alle Einträge, die vor der Erzwingung der Standortbeschränkungen erstellt wurden, werden von Data Catalog beibehalten.

Damit Data Catalog Ressourcen laden kann, empfehlen wir, Ihrer Standortrichtlinie die multiregionale global-Region hinzuzufügen.

Ausnahme für den Namen der Spaltenfamilie

Die Data Catalog API lehnt Anfragen ab, in denen der Name der Spaltenfamilie einen Punkt (.) enthält, z. B. wenn der Name der Spaltenfamilie personal.info lautet.

Nächste Schritte