Crea tabelle esterne di sola lettura Apache Iceberg

Le tabelle esterne di sola lettura Apache Iceberg ti consentono di accedere alle tabelle Apache Iceberg con controllo dell'accesso più granulare in un formato di sola lettura. Questa funzionalità è diversa dalle tabelle BigLake per Apache Iceberg in BigQuery, che consente di creare tabelle Iceberg in BigQuery in un formato scrivibile.

Iceberg è un formato di tabella open source che supporta tabelle di dati su scala petabyte. La specifica aperta di Iceberg consente di eseguire più motori di query su una singola copia dei dati archiviati in un archivio di oggetti. Le tabelle esterne di sola lettura Apache Iceberg (di seguito chiamate tabelle di sola lettura Iceberg) supportano la specifica Iceberg versione 2, inclusa la funzionalità di unione in lettura.

In qualità di amministratore BigQuery, puoi applicare controllo dell'accesso a livello di riga e colonna, inclusa la maschera dei dati nelle tabelle. Per informazioni su come configurare il controllo dell'accesso dell'accesso a livello di tabella, vedi Configurare i criteri di controllo dell'accesso dell'accesso. I criteri di accesso alle tabelle vengono applicati anche quando utilizzi l'API BigQuery Storage come origine dati per la tabella in Dataproc e Serverless Spark.

Puoi creare tabelle Iceberg di sola lettura nei seguenti modi:

• Con BigLake Metastore (consigliato per Google Cloud). Il metastore BigLake si basa sul catalogo BigQuery e si integra direttamente con BigQuery. Le tabelle nel metastore BigLake sono modificabili da più motori open source e le stesse tabelle possono essere sottoposte a query da BigQuery. BigLake Metastore supporta anche l'integrazione diretta con Apache Spark.

• Con AWS Glue Data Catalog (consigliato per AWS). AWS Glue è il metodo consigliato per AWS perché è un repository di metadati centralizzato in cui definisci la struttura e la posizione dei dati archiviati in vari servizi AWS e fornisce funzionalità come il rilevamento automatico dello schema e l'integrazione con gli strumenti di analisi AWS.

• Con i file di metadati JSON Iceberg (consigliato per Azure). Se utilizzi un file JSON con i metadati Iceberg, devi aggiornare manualmente l'ultimo file di metadati ogni volta che vengono apportati aggiornamenti alla tabella. Puoi utilizzare una stored procedure BigQuery per Apache Spark per creare tabelle di sola lettura Iceberg che fanno riferimento a un file di metadati Iceberg.

Per un elenco completo delle limitazioni, vedi Limitazioni.

Prima di iniziare

• Enable the BigQuery Connection and BigQuery Reservation APIs.

  Enable the APIs

• Se utilizzi una stored procedure per Spark in BigQuery per creare tabelle Iceberg di sola lettura, devi seguire questi passaggi:

  1. Crea una connessione Spark.
  2. Configura il controllo dell'accesso per la connessione.

• Per archiviare i metadati e i file di dati della tabella di sola lettura Iceberg in Cloud Storage, crea un bucket Cloud Storage. Devi connetterti al bucket Cloud Storage per accedere ai file di metadati. Per farlo, segui questi passaggi:

  1. Crea una connessione risorsa Cloud.
  2. Configura l'accesso per la connessione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare una tabella Iceberg di sola lettura, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

• BigQuery Admin (roles/bigquery.admin)
• Storage Object Admin (roles/storage.objectAdmin)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare una tabella di sola lettura Iceberg. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea tabelle con BigLake Metastore

Ti consigliamo di creare tabelle Iceberg di sola lettura con BigLake Metastore. Puoi utilizzare Apache Spark per creare queste tabelle. Un modo pratico per farlo è utilizzare le stored procedure BigQuery. Per un esempio, vedi Creare ed eseguire una stored procedure.

Crea tabelle con un file di metadati

Puoi creare tabelle Iceberg di sola lettura con un file di metadati JSON. Tuttavia, questo non è il metodo consigliato perché devi aggiornare manualmente l'URI del file JSON con i metadati per mantenere aggiornata la tabella Iceberg di sola lettura. Se l'URI non viene aggiornato, le query in BigQuery possono non riuscire o fornire risultati diversi rispetto ad altri motori di query che utilizzano direttamente un catalogo Iceberg.

I file di metadati della tabella Iceberg vengono creati nel bucket Cloud Storage specificato quando crei una tabella Iceberg utilizzando Spark.

Seleziona una delle seguenti opzioni:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Aggiornamento metadati tabella

Se utilizzi un file di metadati JSON per creare una tabella di sola lettura Iceberg, aggiorna la definizione della tabella con i metadati più recenti. Per aggiornare lo schema o il file di metadati, seleziona una delle seguenti opzioni:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Configura i criteri di controllo dell'accesso

Puoi controllare l'accesso alle tabelle di sola lettura Iceberg tramite sicurezza a livello di colonna, sicurezza a livello di riga e mascheramento dei dati.

Eseguire query sulle tabelle Iceberg di sola lettura

Per maggiori informazioni, consulta Eseguire query sui dati Iceberg.

Mappatura dei dati

BigQuery converte i tipi di dati Iceberg in tipi di dati BigQuery come mostrato nella tabella seguente:

Limitazioni

Le tabelle di sola lettura Iceberg presentano limitazioni delle tabelle esterne e le seguenti limitazioni:

• Le tabelle che utilizzano la funzionalità Merge-on-Read presentano le seguenti limitazioni:

  • Ogni file di dati può essere associato a un massimo di 10.000 file di eliminazione.
  • A un file di eliminazione non possono essere applicati più di 100.000 ID uguaglianza.
  • Puoi aggirare queste limitazioni compattando spesso i file di eliminazione o creando una visualizzazione sopra la tabella Iceberg che eviti le partizioni mutate di frequente.

• BigQuery supporta l'eliminazione dei manifest utilizzando tutte le funzioni di trasformazione delle partizioni Iceberg, ad eccezione di Bucket. Per informazioni su come eliminare le partizioni, consulta Esecuzione di query sulle tabelle partizionate. Le query che fanno riferimento a tabelle Iceberg di sola lettura devono contenere valori letterali nei predicati rispetto alle colonne partizionate.

• Sono supportati solo i file di dati Apache Parquet.

Costi di unione in lettura

La fatturazione on demand per i dati di unione in lettura è la somma delle scansioni dei seguenti dati:

• Tutti i byte logici letti nel file di dati (incluse le righe contrassegnate come eliminate per posizione ed eliminazioni di uguaglianza).
• Byte logici letti durante il caricamento dei file di eliminazione per uguaglianza ed eliminazione per posizione per trovare le righe eliminate in un file di dati.

Richiedi filtro di partizionamento

Puoi richiedere l'utilizzo di filtri di predicato attivando l'opzione Richiedi filtro di partizionamento per la tabella Iceberg. Se abiliti questa opzione, i tentativi di eseguire query sulla tabella senza specificare una clausola WHERE che si allinei a ogni file manifest produrranno il seguente errore:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Ogni file manifest richiede almeno un predicato adatto all'eliminazione delle partizioni.

Puoi attivare require_partition_filter nei seguenti modi durante la creazione di una tabella Iceberg :

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

Puoi anche aggiornare la tabella Iceberg per attivare il filtro di partizionamento richiesto.

Se non abiliti l'opzione Richiedi filtro di partizionamento quando crei la tabella partizionata, puoi aggiornarla per aggiungere l'opzione.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

Passaggi successivi

• Scopri di più sulla stored procedure per Spark.
• Scopri di più sulle norme di controllo dell'accesso.
• Scopri di più sull'esecuzione di query in BigQuery.
• Scopri di più sulle istruzioni e sui dialetti SQL supportati in BigQuery.