Crea tablas externas de solo lectura de Apache Iceberg

Las tablas externas de Apache Iceberg de solo lectura te permiten acceder a las tablas de Apache Iceberg con un control de acceso más detallado en un formato de solo lectura. Esta capacidad contrasta con las tablas de BigLake para Apache Iceberg en BigQuery, que te permiten crear tablas de Iceberg en BigQuery en un formato de escritura.

Iceberg es un formato de tabla de código abierto que admite tablas de datos a escala de petabytes. La especificación abierta de Iceberg te permite ejecutar varios motores de búsqueda en una sola copia de los datos almacenados en un almacén de objetos. Las tablas externas de solo lectura de Apache Iceberg (en adelante, tablas de solo lectura de Iceberg) admiten la versión 2 de la especificación de Iceberg, incluida la combinación en la lectura.

Como administrador de BigQuery, puedes aplicar un control de acceso a nivel de fila y columna, incluido el enmascaramiento de datos en tablas. Para obtener información sobre cómo configurar el control de acceso a nivel de tabla, consulta Configura las políticas de control de acceso. Las políticas de acceso a las tablas también se aplican cuando usas la API de BigQuery Storage como fuente de datos para la tabla en Dataproc y Spark sin servidores.

Puedes crear tablas de Iceberg de solo lectura de las siguientes maneras:

• Con BigLake Metastore (recomendado para Google Cloud). El metastore de BigLake se basa en el catálogo de BigQuery y se integra directamente con BigQuery. Las tablas del metastore de BigLake se pueden modificar desde varios motores de código abierto, y las mismas tablas se pueden consultar desde BigQuery. BigLake Metastore también admite la integración directa con Apache Spark.

• Con AWS Glue Data Catalog (recomendado para AWS). AWS Glue es el método recomendado para AWS porque es un repositorio de metadatos centralizado en el que defines la estructura y la ubicación de tus datos almacenados en varios servicios de AWS, y proporciona capacidades como el descubrimiento automático de esquemas y la integración con las herramientas de análisis de AWS.

• Con archivos de metadatos JSON de Iceberg (recomendado para Azure). Si usas un archivo de metadatos JSON de Iceberg, debes actualizar de forma manual el archivo de metadatos más reciente cada vez que haya alguna actualización de la tabla. Puedes usar un procedimiento almacenado de BigQuery para Apache Spark a fin de crear tablas de Iceberg de solo lectura que hagan referencia a un archivo de metadatos de Iceberg.

Para obtener una lista completa de limitaciones, consulta Limitaciones.

Antes de comenzar

• Enable the BigQuery Connection and BigQuery Reservation APIs.

  Enable the APIs

• Si usas un procedimiento almacenado para Spark en BigQuery para crear tablas de Iceberg de solo lectura, debes seguir estos pasos:

  1. Crea una conexión de Spark.
  2. Configurar el control de acceso para esa conexión.

• Para almacenar los metadatos y los archivos de datos de la tabla de Iceberg de solo lectura en Cloud Storage, crea un bucket de Cloud Storage. Debes conectarte a tu bucket de Cloud Storage para acceder a los archivos de metadatos. Para hacerlo, sigue estos pasos:

  1. Crea una conexión de recurso de Cloud.
  2. Configura el acceso para esa conexión.

Roles obligatorios

Para obtener los permisos que necesitas para crear una tabla de Iceberg de solo lectura, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

• Administrador de BigQuery (roles/bigquery.admin)
• Administrador de objetos de Storage (roles/storage.objectAdmin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear una tabla de Iceberg de solo lectura. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Crea tablas con BigLake Metastore

Te recomendamos que crees tablas de Iceberg de solo lectura con BigLake Metastore. Puedes usar Apache Spark para crear estas tablas. Una forma conveniente de hacerlo es usar los procedimientos almacenados de BigQuery. Para ver un ejemplo, consulta Crea y ejecuta un procedimiento almacenado.

Crea tablas con un archivo de metadatos

Puedes crear tablas de Iceberg de solo lectura con un archivo de metadatos JSON. Sin embargo, este no es el método recomendado porque tienes que actualizar el URI del archivo de metadatos JSON de forma manual para mantener actualizada la tabla de solo lectura de Iceberg. Si el URI no se mantiene actualizado, las consultas en BigQuery pueden fallar o proporcionar resultados diferentes de otros motores de consulta que usan directamente un catálogo de Iceberg.

Los archivos de metadatos de tablas de Iceberg se crean en el bucket de Cloud Storage que especificas cuando creas una tabla de Iceberg mediante Spark.

Selecciona una de las opciones siguientes:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Actualizar metadatos de tablas

Si usas un archivo de metadatos JSON para crear una tabla de Iceberg de solo lectura, actualiza la definición de tabla con los metadatos más recientes de la tabla. Para actualizar el esquema o el archivo de metadatos, selecciona una de las siguientes opciones:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Configura las políticas de control de acceso

Puedes controlar el acceso a las tablas de solo lectura de Iceberg a través de la seguridad a nivel de columna, la seguridad a nivel de fila y el enmascaramiento de datos.

Consulta tablas de Iceberg de solo lectura

Para obtener más información, visita Consulta datos de Iceberg.

Asignación de datos

BigQuery convierte los tipos de datos de Iceberg en tipos de datos de BigQuery, como se muestra en la siguiente tabla:

Limitaciones

Las tablas de Iceberg de solo lectura tienen limitaciones de tablas externas y las siguientes limitaciones:

• Las tablas que usan la combinación en la lectura tienen las siguientes limitaciones:

  • Cada archivo de datos se puede asociar con hasta 10,000 archivos de eliminación.
  • No se pueden aplicar más de 100,000 IDs de igualdad a un archivo de eliminación.
  • Puedes evitar estas limitaciones compactando los archivos de eliminación con frecuencia o creando una vista sobre la tabla de Iceberg que evite las particiones que se mutan con frecuencia.

• BigQuery admite la reducción de manifiestos mediante todas las funciones de transformación de partición de Iceberg, excepto Bucket. Para obtener información sobre cómo reducir las particiones, lee Consulta tablas particionadas. Las consultas que hacen referencia a las tablas de Iceberg de solo lectura deben contener literales en predicados en comparación con las columnas particionadas.

• Solo se admiten archivos de datos de Apache Parquet.

Costos de la combinación en la lectura

La facturación a pedido de los datos de combinación en la lectura es la suma de los análisis de los siguientes datos:

• Todos los bytes lógicos leídos en el archivo de datos (incluidas las filas marcadas como borradas por posición y las borradas por igualdad).
• Son los bytes lógicos leídos al cargar los archivos de eliminación por igualdad y eliminación por posición para encontrar las filas borradas en un archivo de datos.

Exigir filtro de partición

Puedes exigir el uso de filtros de predicado si habilitas la opción Requerir filtro de partición para tu tabla de Iceberg. Si habilitas esta opción, los intentos de consultar la tabla sin especificar una cláusula WHERE que se alinee con cada archivo de manifiesto producirán el siguiente error:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Cada archivo de manifiesto requiere al menos un predicado adecuado para eliminar particiones.

Puedes habilitar require_partition_filter de las siguientes maneras mientras creas una tabla de Iceberg:

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

También puedes actualizar tu tabla de Iceberg para habilitar el filtro de partición requerida.

Si no habilitas la opción exigir filtro de partición cuando creas la tabla particionada, puedes actualizar la tabla para agregar la opción.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

¿Qué sigue?

• Obtén más información sobre el procedimiento almacenado para Spark.
• Obtén más información sobre las políticas de control de acceso.
• Obtén más información sobre cómo ejecutar consultas en BigQuery.
• Obtén más información sobre las declaraciones compatibles y los dialectos de SQL en BigQuery.