Crea tablas externas de BigLake para Apache Iceberg

Las tablas externas de BigLake te permiten acceder a las tablas de Apache Iceberg con un control de acceso más detallado en formato de solo lectura. Esta función es diferente a las tablas de BigQuery para Apache Iceberg, que te permiten crear tablas de Apache Iceberg en BigQuery en un formato de escritura.

Iceberg es un formato de tabla de código abierto que admite tablas de datos a escala de petabytes. La especificación abierta de Iceberg te permite ejecutar varios motores de búsqueda en una sola copia de los datos almacenados en un almacén de objetos. Las tablas externas de BigLake para Apache Iceberg (en adelante, llamadas tablas de BigLake Iceberg) admiten la versión 2 de la especificación de Iceberg, incluida la combinación durante la lectura.

Como administrador de BigQuery, puedes aplicar un control de acceso a nivel de fila y columna, incluido el enmascaramiento de datos en tablas. Para obtener información sobre cómo configurar el control de acceso a nivel de tabla, consulta Configura las políticas de control de acceso. Las políticas de acceso a las tablas también se aplican cuando usas la API de BigQuery Storage como fuente de datos para la tabla en Dataproc y Spark sin servidores. Las tablas de BigLake proporcionan integraciones adicionales con otros servicios de BigQuery. Para obtener una lista completa de las integraciones disponibles, consulta Introducción a las tablas de BigLake.

Puedes crear tablas de Iceberg BigLake de las siguientes maneras:

• Con BigQuery Metastore (recomendado para Google Cloud). BigQuery Metastore se basa en el catálogo de BigQuery y se integra directamente en BigQuery. Las tablas de BigQuery Metastore son mutables desde varios motores de código abierto, y se pueden consultar las mismas tablas desde BigQuery. BigQuery Metastore también admite integración directa con Apache Spark.

• Con AWS Glue Data Catalog (recomendado para AWS). AWS Glue es el método recomendado para AWS, ya que es un repositorio de metadatos centralizado en el que Defines la estructura y la ubicación de tus datos almacenados en varios servicios de AWS y proporciona funciones como el descubrimiento automático de esquemas y la integración con herramientas de análisis de AWS.

• Con archivos de metadatos JSON de Iceberg (recomendado para Azure). Si usas un archivo de metadatos JSON de Iceberg, debes actualizar de forma manual el archivo de metadatos más reciente cada vez que haya alguna actualización de la tabla. Puedes usar un procedimiento almacenado de BigQuery para Apache Spark a fin de crear tablas de Iceberg Biglake que hagan referencia a un archivo de metadatos de Iceberg.

  Para obtener una lista completa de limitaciones, consulta Limitaciones.

A continuación, se comparan las tablas de BigLake Iceberg con otras variedades de tablas similares en BigQuery:

Antes de comenzar

• Enable the BigQuery Connection and BigQuery Reservation APIs.

  Enable the APIs

• Si usas un procedimiento almacenado para Spark en BigQuery a fin de crear tablas de Iceberg BigLake, debes seguir estos pasos:

  1. Crea una conexión de Spark.
  2. Configurar el control de acceso para esa conexión.

• Para almacenar los metadatos y los archivos de datos de la tabla de Iceberg BigLake en Cloud Storage, crea un bucket de Cloud Storage. Debes conectarte a tu bucket de Cloud Storage para acceder a los archivos de metadatos. Para hacerlo, sigue estos pasos:

  1. Crea una conexión de recurso de Cloud.
  2. Configura el acceso para esa conexión.

Roles obligatorios

Para obtener los permisos que necesitas para crear una tabla de BigLake, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

• Administrador de BigQuery (roles/bigquery.admin)
• Administrador de objetos de Storage (roles/storage.objectAdmin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear una tabla de BigLake. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Crea tablas con el metastore de BigQuery

Te recomendamos crear tablas de Iceberg BigLake con el metastore de BigQuery. Puedes usar Apache Spark para crear estas tablas. Una forma conveniente de hacerlo es usar los procedimientos almacenados de BigQuery. Para ver un ejemplo, consulta Cómo crear y ejecutar un procedimiento almacenado.

Crea tablas con un archivo de metadatos

Puedes crear tablas de BigLake Iceberg con un archivo de metadatos JSON. Sin embargo, este no es el método recomendado porque tienes que actualizar el URI del archivo de metadatos JSON de forma manual para mantener actualizada la tabla de BigLake. Si el URI no se mantiene actualizado, las consultas en BigQuery pueden fallar o proporcionar resultados diferentes de otros motores de consulta que usan directamente un catálogo de Iceberg.

Los archivos de metadatos de tablas de Iceberg se crean en el bucket de Cloud Storage que especificas cuando creas una tabla de Iceberg mediante Spark.

Selecciona una de las opciones siguientes:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Actualizar metadatos de tablas

Si usas un archivo de metadatos JSON para crear una tabla de BigLake Iceberg, actualiza la definición de tabla con los metadatos más recientes de la tabla. Para actualizar el esquema o el archivo de metadatos, selecciona una de las siguientes opciones:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Configura las políticas de control de acceso

Puedes usar varios métodos para controlar el acceso a las tablas de BigLake:

• Para obtener instrucciones sobre cómo configurar la seguridad a nivel de columna, consulta la guía de seguridad a nivel de columna.

• Para obtener instrucciones sobre cómo configurar el enmascaramiento de datos, consulta la guía de enmascaramiento de datos.

• Para obtener instrucciones sobre cómo configurar la seguridad a nivel de fila, consulta la guía de seguridad a nivel de fila.

Por ejemplo, supongamos que deseas limitar el acceso a las filas de la tabla mytable en el conjunto de datos mydataset:

+---------+---------+-------+
| country | product | price |
+---------+---------+-------+
| US      | phone   |   100 |
| JP      | tablet  |   300 |
| UK      | laptop  |   200 |
+---------+---------+-------+

Puedes crear un filtro a nivel de fila para Kim (kim@example.com) que restrinja su acceso a las filas en las que country es igual a US.

CREATE ROW ACCESS POLICY only_us_filter
ON mydataset.mytable
GRANT TO ('user:kim@example.com')
FILTER USING (country = 'US');

Luego, Kim ejecuta la siguiente consulta:

SELECT * FROM projectid.mydataset.mytable;

En el resultado, solo se muestran las filas en las que country es igual a US:

+---------+---------+-------+
| country | product | price |
+---------+---------+-------+
| US      | phone   |   100 |
+---------+---------+-------+

Consulta tablas de BigLake

Para obtener más información, visita Consulta datos de Iceberg.

Asignación de datos

BigQuery convierte los tipos de datos de Iceberg en tipos de datos de BigQuery, como se muestra en la siguiente tabla:

Limitaciones

Las tablas de Iceberg BigLake tienen limitaciones de tablas de BigLake y, también, las siguientes limitaciones:

• Las tablas que usan la combinación durante la lectura tienen las siguientes limitaciones:

  • Cada archivo de datos se puede asociar con hasta 10,000 archivos de eliminación.
  • No se pueden aplicar más de 100,000 IDs de igualdad a un archivo de eliminación.
  • Para evitar estas limitaciones, puedes compactar los archivos borrados con frecuencia o crear una vista sobre la tabla Iceberg que evite las particiones con mutaciones frecuentes.

• BigQuery admite la reducción de manifiestos mediante todas las funciones de transformación de partición de Iceberg, excepto Bucket. Para obtener información sobre cómo reducir las particiones, lee Consulta tablas particionadas. Las consultas que hacen referencia a las tablas de BigLake Iceberg deben contener literales en predicados en comparación con las columnas particionadas.

• Solo se admiten archivos de datos de Apache Parquet.

Costos de combinación durante la lectura

La facturación a pedido de los datos de combinación durante la lectura es la suma de los análisis de los siguientes datos:

• Todos los bytes lógicos leídos en el archivo de datos (incluidas las filas marcadas como borradas por posición y borrados de igualdad)
• Bytes lógicos que leen la carga de eliminación de igualdad y los archivos de eliminación de posición para encontrar las filas borradas en un archivo de datos.

Exigir filtro de partición

Puedes exigir el uso de filtros de predicado si habilitas la opción Requerir filtro de partición para tu tabla de Iceberg. Si habilitas esta opción, los intentos de consultar la tabla sin especificar una cláusula WHERE que se alinee con cada archivo de manifiesto producirán el siguiente error:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Cada archivo de manifiesto requiere al menos un predicado adecuado para eliminar particiones.

Puedes habilitar require_partition_filter de las siguientes maneras mientras creas una tabla de Iceberg:

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

También puedes actualizar tu tabla de Iceberg para habilitar el filtro de partición requerida.

Si no habilitas la opción exigir filtro de partición cuando creas la tabla particionada, puedes actualizar la tabla para agregar la opción.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

¿Qué sigue?

• Obtén más información sobre el procedimiento almacenado para Spark.
• Obtén más información sobre tablas de BigLake.
• Obtén información sobre las políticas de control de acceso.
• Obtén más información sobre cómo ejecutar consultas en BigQuery.
• Obtén más información sobre las declaraciones compatibles y los dialectos de SQL en BigQuery.