Usa BigLake Metastore con el catálogo de REST de Iceberg

El catálogo REST de Apache Iceberg administrado en BigLake Metastore crea interoperabilidad entre todos tus motores de consultas, ya que ofrece una sola fuente de verdad para todos tus datos de Iceberg. Permite que los motores de consultas, como Apache Spark, descubran, lean metadatos y administren tablas de Iceberg de manera coherente.

Las tablas de Iceberg que usas con el catálogo de REST de Iceberg se denominan tablas de BigLake para Apache Iceberg (versión preliminar). Son tablas de Iceberg que creas a partir de motores de código abierto y que almacenas en Cloud Storage. Los pueden leer los motores de código abierto o BigQuery. Las escrituras solo se admiten desde motores de código abierto. En este documento, nos referimos a estas tablas como tablas de BigLake Iceberg.

Antes de comenzar

  1. Make sure that billing is enabled for your Google Cloud project.

    Obtén información para verificar si la facturación está habilitada en un proyecto.

  2. Enable the BigLake API.

    Enable the API

  3. Opcional: Comprende cómo funciona BigLake Metastore y por qué deberías usarlo.

Roles obligatorios

Para obtener los permisos que necesitas para usar el catálogo de REST de Iceberg en el metastore de BigLake, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto o cuenta de servicio:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Limitaciones

El catálogo de REST de Iceberg está sujeto a las siguientes limitaciones:

Configura un motor de consultas con el catálogo de Iceberg REST

import google.auth
from google.auth.transport.requests import Request
from google.oauth2 import service_account
import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
    .config("spark.sql.defaultCatalog", catalog_name) \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.type", "rest") \
    .config(f"spark.sql.catalog.{catalog_name}.uri","https://biglake.googleapis.com/iceberg/v1beta/restcatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.warehouse", "gs://STORAGE_URI") \
    .config(f"spark.sql.catalog.{catalog_name}.token", "TOKEN") \
    .config(f"spark.sql.catalog.{catalog_name}.oauth2-server-uri", "https://oauth2.googleapis.com/token") \
    .config(f"spark.sql.catalog.{catalog_name}.header.x-goog-user-project", "PROJECT_ID") \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config(f"spark.sql.catalog.{catalog_name}.io-impl","org.apache.iceberg.hadoop.HadoopFileIO") \
    .config(f"spark.sql.catalog.{catalog_name}.rest-metrics-reporting-enabled", "false") \
    .getOrCreate()

Reemplaza lo siguiente:

  • CATALOG_NAME: Es el nombre de tu catálogo de REST de Iceberg.
  • APP_NAME: Es un nombre para tu sesión de Spark.
  • STORAGE_URI: Es el URI del bucket de Cloud Storage que contiene tus tablas de BigLake Iceberg.
  • TOKEN: Tu token de autenticación, que es válido por una hora, por ejemplo, gcloud auth application-default print-access-token.
  • PROJECT_ID: Es el proyecto al que se le factura el uso del catálogo de Iceberg REST, que puede ser diferente del proyecto propietario del bucket de Cloud Storage. Para obtener detalles sobre la configuración del proyecto cuando se usa una API de REST, consulta Parámetros del sistema.

Crea un espacio de nombres

spark.sql("CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;")

spark.sql("USE NAMESPACE_NAME;")

Reemplaza NAMESPACE_NAME por un nombre para el espacio de nombres.

Crea una tabla

spark.sql("CREATE TABLE TABLE_NAME (id int, data string) USING ICEBERG;")

spark.sql("DESCRIBE NAMESPACE_NAME.TABLE_NAME").show()

Reemplaza lo siguiente:

  • NAMESPACE_NAME: Es el nombre de tu espacio de nombres.
  • TABLE_NAME: Un nombre para tu tabla

Enumerar tablas

spark.sql("SHOW TABLES").show()

Inserta datos en la tabla

En el siguiente ejemplo, se insertan datos de muestra en la tabla:

spark.sql("INSERT INTO TABLE_NAME VALUES (1, \"first row\"), (2, \"second row\"), (3, \"third row\");")

Consultar una tabla

En el siguiente ejemplo, se seleccionan todos los datos de la tabla:

spark.sql("SELECT * FROM TABLE_NAME;").show()

Cómo modificar un esquema de tabla

En el siguiente ejemplo, se agrega una columna a la tabla:

spark.sql("ALTER TABLE TABLE_NAME ADD COLUMNS ( desc string);")
spark.sql("DESCRIBE NAMESPACE_NAME.TABLE_NAME").show()

Borra una tabla

En el siguiente ejemplo, se borra la tabla del espacio de nombres determinado:

spark.sql("DROP TABLE TABLE_NAME;")

Precios

Para obtener detalles sobre los precios, consulta Precios de BigLake.

¿Qué sigue?