Configurar tablas de Iceberg de BigLake en BigQuery

En esta página se describe cómo configurar Datastream para replicar datos en tablas de Iceberg de BigLake en BigQuery.

Las tablas de BigLake Iceberg ofrecen la misma experiencia totalmente gestionada que las tablas estándar de BigQuery, pero almacenan los datos en los contenedores de Cloud Storage propiedad del cliente en el formato de tabla Apache Iceberg y en el formato de archivo Parquet. Puedes consultar y analizar datos con las funciones de BigQuery sin moverlos de tus propios contenedores de almacenamiento.

Configurar la transmisión a tablas de BigLake Iceberg

Para configurar tu flujo de forma que ingiera datos en tablas de Iceberg de BigLake, sigue estos pasos:

  1. Crea un segmento de Cloud Storage donde quieras almacenar los datos.
  2. Crea una conexión de recursos de Cloud en BigQuery. Para obtener información sobre cómo crear este tipo de conexión, consulta el artículo Crear y configurar una conexión de recursos de Cloud.

  3. Obtén el identificador de la cuenta de servicio de conexión:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. Concede a tu conexión de recursos de Cloud acceso al segmento de Cloud Storage que has creado. Para ello, añade el permiso de gestión de identidades y accesos storage.admin a la cuenta de servicio de conexión:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Crea un flujo de tablas de Iceberg de BigLake.

    Para obtener información sobre cómo crear un flujo de datos de una tabla de Iceberg de BigLake con la consola de Google Cloud , consulta Crear un flujo de datos.

    Para obtener información sobre cómo crear una solicitud para transmitir datos a tablas Iceberg de BigLake mediante REST, Google Cloud CLI o Terraform, consulta Gestionar transmisiones con la API.

Siguientes pasos