Schreibgeschützte externe Apache Iceberg-Tabellen erstellen

Mit schreibgeschützten externen Apache Iceberg-Tabellen können Sie mit einer detaillierteren Zugriffssteuerung in einem schreibgeschützten Format auf Apache Iceberg-Tabellen zugreifen. Diese Funktion steht im Gegensatz zu BigLake-Tabellen für Apache Iceberg in BigQuery, mit denen Sie Iceberg-Tabellen in BigQuery in einem beschreibbaren Format erstellen können.

Iceberg ist ein Open-Source-Tabellenformat, das Datentabellen im Petabytebereich unterstützt. Mit der offenen Spezifikation von Iceberg können Sie mehrere Abfrage-Engines auf einer einzigen Kopie von Daten ausführen, die in einem Objektspeicher gespeichert sind. Externe Apache Iceberg-Tabellen mit Lesezugriff (im Folgenden als Iceberg-Tabellen mit Lesezugriff bezeichnet) unterstützen Iceberg-Spezifikation Version 2, einschließlich Merge-on-Read.

Als BigQuery-Administrator können Sie die Zugriffssteuerung auf Zeilen- und Spaltenebene erzwingen, einschließlich der Datenmaskierung für Tabellen. Informationen zum Einrichten der Zugriffssteuerung auf Tabellenebene finden Sie unter Zugriffssteuerungsrichtlinien einrichten. Tabellenzugriffsrichtlinien werden auch erzwungen, wenn Sie die BigQuery Storage API als Datenquelle für die Tabelle in Dataproc und serverlosem Spark verwenden.

Sie können schreibgeschützte Iceberg-Tabellen auf folgende Arten erstellen:

• Mit BigLake Metastore (für Google Cloudempfohlen) BigLake Metastore basiert auf dem BigQuery-Katalog und ist direkt in BigQuery integriert. Tabellen im BigLake-Metastore können von mehreren Open-Source-Engines geändert werden und dieselben Tabellen können in BigQuery abgefragt werden. BigLake Metastore unterstützt auch die direkte Einbindung in Apache Spark.

• Mit AWS Glue Data Catalog (für AWS empfohlen). AWS Glue ist die empfohlene Methode für AWS, da es sich um ein zentrales Metadaten-Repository handelt, in dem Sie die Struktur und den Speicherort Ihrer in verschiedenen AWS-Diensten gespeicherten Daten definieren. Außerdem bietet es Funktionen wie die automatische Schemaerkennung und Integration in AWS-Analysetools.

• Mit Iceberg-JSON-Metadatendateien (für Azure empfohlen). Wenn Sie eine Iceberg-JSON-Metadatendatei verwenden, müssen Sie die neueste Metadatendatei manuell aktualisieren, wenn Tabellenaktualisierungen vorhanden sind. Sie können eine gespeicherte BigQuery-Prozedur für Apache Spark verwenden, um schreibgeschützte Iceberg-Tabellen zu erstellen, die auf eine Iceberg-Metadatendatei verweisen.

Eine vollständige Liste der Beschränkungen finden Sie unter Einschränkungen.

Hinweise

• Enable the BigQuery Connection and BigQuery Reservation APIs.

  Enable the APIs

• Wenn Sie eine gespeicherte Prozedur für Spark in BigQuery verwenden, um schreibgeschützte Iceberg-Tabellen zu erstellen, müssen Sie die folgenden Schritte ausführen:

  1. Spark-Verbindung erstellen
  2. Richten Sie die Zugriffssteuerung für diese Verbindung ein.

• Erstellen Sie einen Cloud Storage-Bucket, um die Metadaten und Datendateien von schreibgeschützten Iceberg-Tabellen in Cloud Storage zu speichern. Sie müssen eine Verbindung zu Ihrem Cloud Storage-Bucket herstellen, um auf Metadatendateien zuzugreifen. Führen Sie dazu die folgenden Schritte aus:

  1. Cloud-Ressourcen-Verbindung erstellen
  2. Richten Sie den Zugriff für diese Verbindung ein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer schreibgeschützten Iceberg-Tabelle benötigen:

• BigQuery-Administrator (roles/bigquery.admin)
• Storage-Objekt-Administrator (roles/storage.objectAdmin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen einer schreibgeschützten Iceberg-Tabelle erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Tabellen mit BigLake Metastore erstellen

Wir empfehlen, schreibgeschützte Iceberg-Tabellen mit BigLake Metastore zu erstellen. Sie können diese Tabellen mit Apache Spark erstellen. Eine bequeme Methode ist die Verwendung von gespeicherten Prozeduren in BigQuery. Ein Beispiel finden Sie unter Gespeicherte Prozedur erstellen und ausführen.

Tabellen mit einer Metadatendatei erstellen

Sie können schreibgeschützte Iceberg-Tabellen mit einer JSON-Metadatendatei erstellen. Dies ist jedoch nicht die empfohlene Methode, da Sie den URI der JSON-Metadatendatei manuell aktualisieren müssen, um die schreibgeschützte Iceberg-Tabelle auf dem neuesten Stand zu halten. Wenn der URI nicht aktuell ist, können Abfragen in BigQuery fehlschlagen oder zu anderen Ergebnissen von anderen Abfrage-Engines führen, die direkt einen Iceberg-Katalog verwenden.

Iceberg-Tabellenmetadatendateien werden in dem Cloud Storage-Bucket erstellt, den Sie beim Erstellen einer Iceberg-Tabelle mit Spark angeben.

Wählen Sie eine der folgenden Optionen aus:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Tabellenmetadaten aktualisieren

Wenn Sie eine JSON-Metadatendatei zum Erstellen einer schreibgeschützten Iceberg-Tabelle verwenden, aktualisieren Sie die Tabellendefinition auf die neuesten Tabellenmetadaten. Wählen Sie eine der folgenden Optionen aus, um das Schema oder die Metadatendatei zu aktualisieren:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Zugriffssteuerungsrichtlinien einrichten

Sie können den Zugriff auf schreibgeschützte Iceberg-Tabellen über Sicherheit auf Spaltenebene, Sicherheit auf Zeilenebene und Datenmaskierung steuern.

Schreibgeschützte Iceberg-Tabellen abfragen

Weitere Informationen finden Sie unter Iceberg-Daten abfragen.

Datenabgleich

BigQuery konvertiert Iceberg-Datentypen in BigQuery-Datentypen, wie in der folgenden Tabelle dargestellt:

Beschränkungen

Für schreibgeschützte Iceberg-Tabellen gelten Einschränkungen für externe Tabellen sowie die folgenden Einschränkungen:

• Für Tabellen, die Merge-on-Read verwenden, gelten die folgenden Einschränkungen:

  • Jede Datendatei kann mit bis zu 10.000 Löschdateien verknüpft werden.
  • Auf eine Löschdatei können höchstens 100.000 Gleichheits-IDs angewendet werden.
  • Sie können diese Einschränkungen umgehen, indem Sie Löschdateien häufig komprimieren oder eine Ansicht für die Iceberg-Tabelle erstellen, in der Partitionen, die häufig geändert werden, vermieden werden.

• BigQuery unterstützt die Manifestbereinigung mit allen Iceberg-Partitionstransformationsfunktionen mit Ausnahme von Bucket. Weitere Informationen zum Bereinigen von Partitionen finden Sie unter Partitionierte Tabellen abfragen. Abfragen, die sich auf schreibgeschützte Iceberg-Tabellen beziehen, müssen Literale in Prädikaten enthalten, die in Spalten partitioniert sind.

• Nur Apache Parquet-Datendateien werden unterstützt.

Kosten für Merge-on-Read

Die On-Demand-Abrechnung für Merge-on-Read-Daten ist die Summe der Scans der folgenden Daten:

• Alle logischen Bytes, die in der Datendatei gelesen werden, einschließlich der Zeilen, die durch Positions- und Gleichheitslöschungen als gelöscht markiert sind.
• Logische Bytes, die beim Laden der Dateien zum Löschen von Gleichheits- und Positionsdaten gelesen werden, um die gelöschten Zeilen in einer Datendatei zu finden.

Partitionsfilter anfordern

Sie können die Verwendung von Prädikatfiltern anfordern, wenn Sie die Option Partitionsfilter anfordern für Ihre Iceberg-Tabelle aktivieren. Wenn Sie diese Option aktivieren, führen Versuche, die Tabelle ohne Angabe einer WHERE-Klausel abzufragen, die mit jeder Manifestdatei übereinstimmt, zu folgendem Fehler:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Jede Manifestdatei erfordert mindestens ein Prädikat, das für die Eliminierung der Partition geeignet ist.

Sie können require_partition_filter beim Erstellen einer Iceberg-Tabelle so aktivieren :

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

Sie können auch Ihre Iceberg-Tabelle aktualisieren, um den Filter "Partitionsfilter anfordern" zu aktivieren.

Wenn Sie die Option Partitionsfilter anfordern beim Erstellen der partitionierten Tabelle nicht aktiviert haben, können Sie die Tabelle aktualisieren, um die Option hinzuzufügen.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

Nächste Schritte

• Gespeichertes Verfahren für Spark
• Richtlinien für die Zugriffssteuerung
• Abfragen in BigQuery ausführen
• Unterstützte Anweisungen und SQL-Dialekte in BigQuery