Configura tablas de BigLake Iceberg en BigQuery

En esta página, se describe cómo configurar Datastream para la replicación en tablas de BigLake Iceberg en BigQuery.

Las tablas de BigLake Iceberg ofrecen la misma experiencia completamente administrada que las tablas estándar de BigQuery, pero almacenan datos en buckets de Cloud Storage que pertenecen al cliente en el formato de tabla de Apache Iceberg y el formato de archivo Parquet. Puedes consultar y analizar datos con las capacidades de BigQuery y, al mismo tiempo, mantener los datos en tus propios buckets de almacenamiento.

Configura la transmisión a las tablas de BigLake Iceberg

Para configurar tu transmisión y transferir datos a las tablas de Iceberg de BigLake, haz lo siguiente:

  1. Crea un bucket de Cloud Storage en el que desees almacenar tus datos.
  2. Crea una conexión al recurso de Cloud en BigQuery. Para obtener información sobre cómo crear este tipo de conexión, consulta Crea y configura una conexión de recursos de Cloud.

  3. Obtén el identificador de la cuenta de servicio de conexión:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. Otorga acceso a la conexión de recursos de Cloud al bucket de Cloud Storage que creaste. Para ello, agrega el permiso de IAM storage.admin a la cuenta de servicio de la conexión:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Crea una transmisión de tablas de BigLake Iceberg.

    Para obtener información sobre cómo crear una transmisión de tablas de Iceberg de BigLake con la consola de Google Cloud , consulta Crea una transmisión.

    Para obtener información sobre cómo crear una solicitud para transmitir datos a tablas de BigLake Iceberg con REST, Google Cloud CLI o Terraform, consulta Administra transmisiones con la API.

¿Qué sigue?