Externe Spanner-Datasets erstellen

In diesem Dokument wird beschrieben, wie Sie in BigQuery ein externes Dataset (auch als föderiertes Dataset bezeichnet) erstellen, das mit einer vorhandenen Datenbank in Spanner verknüpft ist.

Ein externes Dataset ist eine Verbindung zwischen BigQuery und einer externen Datenquelle auf Dataset-Ebene. Damit können Sie transaktionale Daten in Spanner-Datenbanken mit GoogleSQL abfragen, ohne alle Daten aus Spanner in den BigQuery-Speicher kopieren oder importieren zu müssen. Diese Abfrageergebnisse werden in BigQuery gespeichert.

Die Tabellen in einem externen Dataset werden automatisch aus den Tabellen in der entsprechenden externen Datenquelle gefüllt. Sie können diese Tabellen direkt in BigQuery abfragen, aber keine Änderungen vornehmen, etwas hinzufügen oder löschen. Alle Aktualisierungen, die Sie in der externen Datenquelle vornehmen, werden jedoch automatisch in BigQuery übernommen.

Wenn Sie Spanner abfragen, werden die Abfrageergebnisse standardmäßig in temporären Tabellen gespeichert. Sie können optional auch als neue BigQuery-Tabelle gespeichert, mit anderen Tabellen verknüpft oder mit vorhandenen Tabellen zusammengeführt werden. Dazu verwenden Sie DML.

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Nutzer (roles/bigquery.user) zuzuweisen, um die Berechtigung zu erhalten, die Sie zum Erstellen eines externen Datasets benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigung bigquery.datasets.create, die zum Erstellen eines externen Datasets erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu IAM-Rollen und Berechtigungen in BigQuery finden Sie unter Einführung in IAM.

CLOUD_RESOURCE-Verbindung verwenden

Optional können für externe Spanner-Datasets eine CLOUD_RESOURCE-Verbindung verwendet werden, um mit Ihrer Spanner-Datenbank zu interagieren. So können Sie einem Nutzer über BigQuery Zugriff auf Spanner-Daten gewähren, ohne ihm direkten Zugriff auf die Spanner-Datenbank zu geben. Da das Dienstkonto aus der CLOUD_RESOURCE-Verbindung das Abrufen von Daten aus Spanner übernimmt, müssen Sie Nutzern nur Zugriff auf das externe Spanner-Dataset gewähren.

Führen Sie vor dem Erstellen externer Cloud Spanner-Datasets mit einer CLOUD_RESOURCE-Verbindung die folgenden Schritte aus:

Verbindung herstellen

Sie können eine CLOUD_RESOURCE-Verbindung erstellen oder eine vorhandene verwenden, um eine Verbindung zu Spanner herzustellen. Folgen Sie zum Erstellen der Cloud-Ressourcenverbindung der Anleitung auf der Seite Cloud-Ressourcenverbindung erstellen.

Nachdem Sie die Verbindung erstellt haben, öffnen Sie sie und kopieren Sie im Bereich Verbindungsinformationen die Dienstkonto-ID. Sie benötigen diese ID, wenn Sie Berechtigungen für die Verbindung konfigurieren. Wenn Sie eine Verbindungsressource erstellen, erstellt BigQuery ein eindeutiges Systemdienstkonto und ordnet es der Verbindung zu.

Zugriff einrichten

Sie müssen der neuen Verbindung Lesezugriff auf Ihre Spanner-Instanz oder -Datenbank gewähren. Es wird empfohlen, die vordefinierte IAM-Rolle „Cloud Spanner Database Reader with DataBoost“ (roles/spanner.databaseReaderWithDataBoost) zu verwenden.

So gewähren Sie Zugriff auf Rollen auf Datenbankebene für das Dienstkonto, das Sie zuvor aus der Verbindung kopiert haben:

1. Rufen Sie die Spanner-Seite Instanzen auf.

   Zur Seite "Instanzen"

2. Klicken Sie auf den Namen der Instanz, die Ihre Datenbank enthält, um die Seite Instanzdetails aufzurufen.

3. Klicken Sie auf dem Tab Übersicht das Kästchen der Datenbank an.
   Das Infofeld wird angezeigt.

4. Klicken Sie auf Hauptkonto hinzufügen.

5. Geben Sie im Bereich Hauptkonten hinzufügen unter Neue Hauptkonten die Dienstkonto-ID ein, die Sie zuvor kopiert haben.

6. Wählen Sie im Feld Rolle auswählen die Option Cloud Spanner-Datenbankleser mit DataBoost-Rolle aus.

7. Klicken Sie auf Speichern.

Externes Dataset erstellen

So erstellen Sie ein externes Dataset:

bq --location=LOCATION mk --dataset \
    --external_source SPANNER_EXTERNAL_SOURCE \
    DATASET_NAME

bq --location=LOCATION mk --dataset \
    --external_source SPANNER_EXTERNAL_SOURCE \
    --connection_id PROJECT_ID.LOCATION.CONNECTION_NAME \
    DATASET_NAME

resource "google_bigquery_dataset" "default" {
  dataset_id    = "my_external_dataset"
  friendly_name = "My external dataset"
  description   = "This is a test description."
  location      = "US"
  external_dataset_reference {
    # The full identifier of your Spanner database.
    external_source = "google-cloudspanner:/projects/my_project/instances/my_instance/databases/my_database"
    # Must be empty for a Spanner external dataset.
    connection = ""
  }
}

Bei den Namen der Tabellen in den externen Datasets wird die Groß-/Kleinschreibung nicht berücksichtigt.

Wenn Sie die externen Datasets mit einer CLOUD_RESOURCE-Verbindung erstellen, benötigen Sie die Berechtigung bigquery.connections.delegate (über die Rolle „BigQuery Connection Admin“ verfügbar) für die Verbindung, die von den externen Datasets verwendet wird.

Zugriff auf Tabellen steuern

Externe Spanner-Datasets unterstützen Endnutzeranmeldedaten. Das bedeutet, dass der Zugriff auf die Spanner-Tabellen über externe Datasets von Spanner gesteuert wird. Nutzer können diese Tabellen nur abfragen, wenn sie in Spanner Zugriff haben.

Externe Spanner-Datasets unterstützen auch die Zugriffsdelegierung. Durch die Zugriffsdelegation wird der Zugriff auf die Spanner-Tabellen von externen Datasets und dem direkten Zugriff auf die zugrunde liegenden Spanner-Tabellen entkoppelt. Für den Verbindungsaufbau zu Spanner wird eine Cloud-Ressourcenverbindung verwendet, die mit einem Dienstkonto verknüpft ist. Nutzer können diese Spanner-Tabellen aus externen Datasets abfragen, auch wenn sie in Spanner keinen Zugriff haben.

Tabellen in einem externen Dataset auflisten

Informationen zum Auflisten der Tabellen, die in Ihrem externen Dataset für Abfragen verfügbar sind, finden Sie unter Datasets auflisten.

Tabelleninformationen abrufen

Informationen zu den Tabellen in Ihrem externen Dataset, z. B. Schemadetails, finden Sie unter Tabelleninformationen abrufen.

Spanner-Daten abfragen

Tabellen in externen Datasets abzufragen funktioniert genauso wie das Abfragen von Tabellen in anderen BigQuery-Datasets. Datenänderungsvorgänge (DML) werden jedoch nicht unterstützt.

Für Abfragen für Tabellen in externen Spanner-Datasets wird standardmäßig Data Boost verwendet. Das kann nicht geändert werden. Daher benötigen Sie zusätzliche Berechtigungen, um solche Abfragen auszuführen.

Ansicht in einem externen Dataset erstellen

Sie können keine Ansicht in einem externen Dataset erstellen. Sie können jedoch eine Ansicht in einem Standard-Dataset erstellen, die auf einer Tabelle in einem externen Dataset basiert. Weitere Informationen finden Sie unter Ansichten erstellen.

Externes Dataset löschen

Das Löschen eines externen Datasets entspricht dem Löschen eines beliebigen anderen BigQuery-Datasets. Das Löschen externer Datasets hat keine Auswirkungen auf Tabellen in der Spanner-Datenbank. Weitere Informationen finden Sie unter Datasets löschen.

Beschränkungen

• Es gelten die Einschränkungen für föderierte BigQuery-Abfragen.
• In BigQuery sind nur Tabellen aus einem Standard-Spanner-Schema zugänglich. Tabellen aus benannten Schemas werden nicht unterstützt.
• Primär- und Fremdschlüssel, die in der Spanner-Datenbank definiert sind, sind in BigQuery nicht sichtbar.
• Wenn eine Tabelle in der Spanner-Datenbank eine Spalte mit einem Typ enthält, der von BigQuery nicht unterstützt wird, ist diese Spalte in BigQuery nicht verfügbar.
• Sie können in Tabellen in einem externen Spanner-Dataset keine Daten oder Metadaten hinzufügen, löschen oder aktualisieren.
• Sie können in einem externen Spanner-Dataset keine neuen Tabellen, Ansichten oder materialisierten Ansichten erstellen.
• INFORMATION_SCHEMA-Aufrufe werden nicht unterstützt.
• Metadaten-Caching wird nicht unterstützt.
• Einstellungen auf Dataset-Ebene, die sich auf Standardeinstellungen für die Tabellenerstellung beziehen, wirken sich nicht auf externe Datasets aus, da Tabellen nicht manuell erstellt werden können.
• Spanner-Datenbanken, die den PostgreSQL-Dialekt verwenden, werden nicht unterstützt.
• Die Write API und die Read API werden nicht unterstützt.
• Sicherheit auf Zeilen- und Spaltenebene sowie Datenmaskierung werden nicht unterstützt.
• Materialisierte Ansichten, die auf Tabellen aus externen Spanner-Datasets basieren, werden nicht unterstützt.
• Die Integration in Dataplex Universal Catalog wird nicht unterstützt. Datenprofile und Datenqualitätsscans werden beispielsweise nicht unterstützt.
• Tags auf Tabellenebene werden nicht unterstützt.
• Die automatische Vervollständigung von SQL funktioniert nicht mit externen Spanner-Tabellen, wenn Sie Abfragen schreiben.
• Die Funktion Mit Schutz sensibler Daten scannen wird für externe Datasets nicht unterstützt.
• Die Freigabe über BigQuery Sharing (früher Analytics Hub) wird für externe Datasets nicht unterstützt.
• Wenn für das externe Cloud Spanner-Dataset Endnutzeranmeldedaten verwendet werden, können Sie eine autorisierte Ansicht erstellen, die auf das externe Dataset verweist. Wenn diese Ansicht jedoch abgefragt wird, werden die Endnutzer-Cookies der Person, die eine Abfrage ausführt, an Spanner gesendet.
• Wenn für das externe Cloud Spanner-Dataset eine Cloud-Ressourcenverbindung für die Zugriffsdelegierung verwendet wird, können Sie eine autorisierte Ansicht oder eine autorisierte Routine erstellen, die auf das externe Dataset verweist.

Nächste Schritte

• Weitere Informationen zu föderierten Spanner-Abfragen