BigLake Iceberg-Tabellen in BigQuery konfigurieren

Auf dieser Seite wird beschrieben, wie Sie Datastream für die Replikation in BigLake Iceberg-Tabellen in BigQuery konfigurieren.

BigLake Iceberg-Tabellen bieten dieselbe vollständig verwaltete Umgebung wie Standard-BigQuery-Tabellen, speichern Daten jedoch in kundeneigenen Cloud Storage-Buckets im Apache Iceberg-Tabellenformat und Parquet-Dateiformat. Sie können Daten mit BigQuery-Funktionen abfragen und analysieren, während die Daten in Ihren eigenen Speicher-Buckets verbleiben.

Streaming zu BigLake Iceberg-Tabellen konfigurieren

So richten Sie Ihren Stream zum Aufnehmen von Daten in BigLake Iceberg-Tabellen ein:

  1. Erstellen Sie einen Cloud Storage-Bucket, in dem Sie Ihre Daten speichern möchten.
  2. Cloud-Ressourcenverbindung in BigQuery erstellen Informationen zum Erstellen dieser Art von Verbindung finden Sie unter Cloud-Ressourcen-Verbindung erstellen und einrichten.

  3. Rufen Sie die ID des Dienstkontos für die Verbindung ab:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. Gewähren Sie der Cloud-Ressourcenverbindung Zugriff auf den erstellten Cloud Storage-Bucket. Fügen Sie dazu dem Dienstkonto der Verbindung die IAM-Berechtigung storage.admin hinzu:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Erstellen Sie einen Stream für BigLake-Iceberg-Tabellen.

    Informationen zum Erstellen eines Streams für BigLake-Iceberg-Tabellen über die Google Cloud Konsole finden Sie unter Stream erstellen.

    Informationen zum Erstellen einer Anfrage zum Streamen von Daten in BigLake-Iceberg-Tabellen mit REST, Google Cloud CLI oder Terraform finden Sie unter Streams mit der API verwalten.

Nächste Schritte