BigLake-externe Tabellen für Apache Iceberg erstellen

Mit externen BigLake-Tabellen können Sie über eine detailliertere Zugriffssteuerung im Lesezugriffsformat auf Apache Iceberg-Tabellen zugreifen. Diese Funktion unterscheidet sich von BigQuery-Tabellen für Apache Iceberg, mit denen Sie Apache Iceberg-Tabellen in BigQuery in einem beschreibbaren Format erstellen können.

Iceberg ist ein Open-Source-Tabellenformat, das Datentabellen im Petabytebereich unterstützt. Mit der offenen Spezifikation von Iceberg können Sie mehrere Abfrage-Engines auf einer einzigen Kopie von Daten ausführen, die in einem Objektspeicher gespeichert sind. Externe BigLake-Tabellen für Apache Iceberg (im Folgenden BigLake Iceberg-Tabellen) unterstützen die Iceberg-Spezifikation Version 2, einschließlich Merge-on-Read.

Als BigQuery-Administrator können Sie die Zugriffssteuerung auf Zeilen- und Spaltenebene erzwingen, einschließlich der Datenmaskierung für Tabellen. Informationen zum Einrichten der Zugriffssteuerung auf Tabellenebene finden Sie unter Zugriffssteuerungsrichtlinien einrichten. Tabellenzugriffsrichtlinien werden auch erzwungen, wenn Sie die BigQuery Storage API als Datenquelle für die Tabelle in Dataproc und serverlosem Spark verwenden. BigLake-Tabellen bieten zusätzliche Integrationen in andere BigQuery-Dienste. Eine vollständige Liste der verfügbaren Integrationen finden Sie unter Einführung in BigLake-Tabellen.

Sie können Iceberg-BigLake-Tabellen auf folgende Arten erstellen:

• Mit BigQuery Metastore (empfohlen für Google Cloud) Der BigQuery-Metastore basiert auf dem BigQuery-Katalog und lässt sich direkt in BigQuery einbinden. Tabellen im BigQuery-Metastore können über mehrere Open-Source-Engines geändert werden. Dieselben Tabellen können auch über BigQuery abgefragt werden. Der BigQuery Metastore unterstützt auch die direkte Einbindung in Apache Spark.

• Mit AWS Glue Data Catalog (für AWS empfohlen). AWS Glue ist die empfohlene Methode für AWS, da es sich um ein zentrales Metadaten-Repository handelt, in dem Sie die Struktur und den Speicherort Ihrer in verschiedenen AWS-Diensten gespeicherten Daten definieren. Außerdem bietet es Funktionen wie die automatische Schemaerkennung und Integration in AWS-Analysetools.

• Mit Iceberg-JSON-Metadatendateien (für Azure empfohlen). Wenn Sie eine Eisberg-JSON-Metadatendatei verwenden, müssen Sie die neueste Metadatendatei manuell aktualisieren, wenn Tabellenaktualisierungen vorhanden sind. Sie können eine gespeicherte BigQuery-Prozedur für Apache Spark verwenden, um BigLake Iceberg-Tabellen zu erstellen, die auf eine Iceberg-Metadatendatei verweisen.

  Eine vollständige Liste der Beschränkungen finden Sie unter Einschränkungen.

Vorbereitung

• Enable the BigQuery Connection and BigQuery Reservation APIs.

  Enable the APIs

• Wenn Sie eine gespeicherte Prozedur für Apache Spark in BigQuery verwenden, um BigLake-Iceberg-Tabellen zu erstellen, müssen Sie die folgenden Schritte ausführen:

  1. Spark-Verbindung erstellen
  2. Richten Sie die Zugriffssteuerung für diese Verbindung ein.

• Erstellen Sie einen Cloud Storage-Bucket, um die Metadaten und Datendateien von Iceberg BigLake in Cloud Storage zu speichern. Sie müssen eine Verbindung zu Ihrem Cloud Storage-Bucket herstellen, um auf Metadatendateien zuzugreifen. Führen Sie dazu die folgenden Schritte aus:

  1. Cloud-Ressourcen-Verbindung erstellen
  2. Richten Sie den Zugriff für diese Verbindung ein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer BigLake-Tabelle benötigen:

• BigQuery-Administrator (roles/bigquery.admin)
• Storage-Objekt-Administrator (roles/storage.objectAdmin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen einer BigLake-Tabelle erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Tabellen mit BigQuery Metastore erstellen

Wir empfehlen, Iceberg-BigLake-Tabellen mit BigQuery Metastore zu erstellen. Sie können diese Tabellen mit Apache Spark erstellen. Eine bequeme Methode ist die Verwendung von BigQuery-gespeicherten Prozeduren. Ein Beispiel finden Sie unter Gespeicherte Prozedur erstellen und ausführen.

Tabellen mit einer Metadatendatei erstellen

Sie können BigLake-Iceberg-Tabellen mit einer JSON-Metadatendatei erstellen. Dies ist jedoch nicht die empfohlene Methode, da Sie den URI der JSON-Metadatendatei manuell aktualisieren müssen, um die BigLake-Tabelle auf dem neuesten Stand zu halten. Wenn der URI nicht aktuell ist, können Abfragen in BigQuery fehlschlagen oder zu anderen Ergebnissen von anderen Abfrage-Engines führen, die direkt einen Iceberg-Katalog verwenden.

Iceberg-Tabellenmetadatendateien werden in dem Cloud Storage-Bucket erstellt, den Sie beim Erstellen einer Iceberg-Tabelle mit Spark angeben.

Wählen Sie eine der folgenden Optionen aus:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Tabellenmetadaten aktualisieren

Wenn Sie eine JSON-Metadatendatei zum Erstellen einer BigLake-Iceberg-Tabelle verwenden, aktualisieren Sie die Tabellendefinition auf die neuesten Tabellenmetadaten. Wählen Sie eine der folgenden Optionen, um das Schema oder die Metadatendatei zu aktualisieren:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Zugriffssteuerungsrichtlinien einrichten

Sie können den Zugriff auf BigLake-Tabellen auf verschiedene Arten steuern:

• Eine Anleitung zum Einrichten der Sicherheit auf Spaltenebene finden Sie im Sicherheitsleitfaden auf Spaltenebene.

• Eine Anleitung zum Einrichten der Datenmaskierung finden Sie im Anleitung zur Datenmaskierung.

• Eine Anleitung zum Einrichten der Sicherheit auf Zeilenebene finden Sie im Sicherheitsleitfaden auf Zeilenebene.

Angenommen, Sie möchten den Zeilenzugriff für die Tabelle mytable im Dataset mydataset beschränken:

+---------+---------+-------+
| country | product | price |
+---------+---------+-------+
| US      | phone   |   100 |
| JP      | tablet  |   300 |
| UK      | laptop  |   200 |
+---------+---------+-------+

Sie können einen Filter auf Zeilenebene für Kim (kim@example.com) erstellen, der den Zugriff auf Zeilen beschränkt, in denen country gleich US ist.

CREATE ROW ACCESS POLICY only_us_filter
ON mydataset.mytable
GRANT TO ('user:kim@example.com')
FILTER USING (country = 'US');

Dann führt vCenter die folgende Abfrage aus:

SELECT * FROM projectid.mydataset.mytable;

Die Ausgabe zeigt nur die Zeilen, in denen country gleich US ist:

+---------+---------+-------+
| country | product | price |
+---------+---------+-------+
| US      | phone   |   100 |
+---------+---------+-------+

BigLake-Tabellen abfragen

Weitere Informationen finden Sie unter Iceberg-Daten abfragen.

Datenabgleich

BigQuery konvertiert Iceberg-Datentypen in BigQuery-Datentypen, wie in der folgenden Tabelle dargestellt:

Beschränkungen

Für BigLake-Iceberg-Tabellen gelten BigLake-Tabelleneinschränkungen sowie die folgenden Einschränkungen:

• Für Tabellen mit Zusammenführen beim Lesen gelten die folgenden Einschränkungen:

  • Jede Datendatei kann mit bis zu 10.000 Löschdateien verknüpft werden.
  • Auf eine Löschdatei können höchstens 100.000 Gleichheits-IDs angewendet werden.
  • Sie können diese Einschränkungen umgehen, indem Sie entweder gelöschte Dateien häufig komprimieren oder eine Ansicht über der Iceberg-Tabelle erstellen, die häufig mutierte Partitionen verhindert.

• BigQuery unterstützt die Manifestbereinigung mit allen Iceberg-Partitionstransformationsfunktionen mit Ausnahme von Bucket. Weitere Informationen zum Bereinigen von Partitionen finden Sie unter Partitionierte Tabellen abfragen. Abfragen, die sich auf BigLake-Iceberg-Tabellen beziehen, müssen Literale in Prädikaten enthalten, die in Spalten partitioniert sind.

• Nur Apache Parquet-Datendateien werden unterstützt.

Kosten für die Zusammenführung bei der Lesevorgang

Die On-Demand-Abrechnung für Daten mit Zusammenführen beim Lesen entspricht der Summe der Scans der folgenden Daten:

• Alle logischen Bytes, die in der Datendatei gelesen wurden, einschließlich Zeilen, die durch Positions- und Gleichheitslöschungen als gelöscht gekennzeichnet sind.
• Logische gelesene Bytes beim Laden der Dateien „delete by equality“ und „delete by position“, um die gelöschten Zeilen in einer Datendatei zu finden.

Partitionsfilter anfordern

Sie können die Verwendung von Prädikatfiltern anfordern, wenn Sie die Option Partitionsfilter anfordern für Ihre Iceberg-Tabelle aktivieren. Wenn Sie diese Option aktivieren, führen Versuche, die Tabelle ohne Angabe einer WHERE-Klausel abzufragen, die mit jeder Manifestdatei übereinstimmt, zu folgendem Fehler:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Jede Manifestdatei erfordert mindestens ein Prädikat, das für die Eliminierung der Partition geeignet ist.

Sie können require_partition_filter beim Erstellen einer Iceberg-Tabelle so aktivieren :

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

Sie können auch Ihre Iceberg-Tabelle aktualisieren, um den Filter "Partitionsfilter anfordern" zu aktivieren.

Wenn Sie die Option Partitionsfilter anfordern beim Erstellen der partitionierten Tabelle nicht aktiviert haben, können Sie die Tabelle aktualisieren, um die Option hinzuzufügen.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

Nächste Schritte

• Gespeichertes Verfahren für Spark
• Informationen zu BigLake-Tabellen.
• Weitere Informationen zu Richtlinien für die Zugriffssteuerung
• Abfragen in BigQuery ausführen
• Unterstützte Anweisungen und SQL-Dialekte in BigQuery