Crea tabelle BigLake esterne per Delta Lake

BigLake ti consente di accedere alle tabelle Delta Lake con controllo dell'accesso più granulare. Delta Lake è un formato di archiviazione dei dati tabulari open source sviluppato da Databricks che supporta tabelle di dati su larga scala in petabyte.

BigQuery supporta le seguenti funzionalità con le tabelle Delta Lake:

• Delegazione dell'accesso: esegui query sui dati strutturati in store di dati esterni con la delega dell'accesso. La delega dell'accesso scollega l'accesso alla tabella Delta Lake dall'accesso al datastore sottostante.
• Controllo dell'accesso granulare: applica la sicurezza granulare a livello di tabella, inclusa la sicurezza a livello di riga e a livello di colonna. Per le tabelle Delta Lake basate su Cloud Storage, puoi anche utilizzare la mascheratura dinamica dei dati.
• Evoluzione dello schema: le modifiche allo schema nelle tabelle Delta Lake vengono rilevate automaticamente. Le modifiche allo schema vengono applicate alla tabella BigQuery.

Le tabelle Delta Lake supportano anche tutte le funzionalità di BigLake se le configuri come tabelle BigLake.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery Connection and BigQuery Reservation APIs.

   Enable the APIs

4. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

5. Assicurati di avere un set di dati BigQuery.

6. Assicurati che la versione del Google Cloud SDK sia 366.0.0 o successiva:

   gcloud version
   

   Se necessario, aggiorna Google Cloud SDK.

7. Crea una connessione risorsa Cloud in base all'origine dati esterna e concedi a questa connessione l'accesso a Cloud Storage. Se non disponi delle autorizzazioni appropriate per creare una connessione, chiedi all'amministratore di BigQuery di crearne una e di condividerla con te.

Ruoli obbligatori

Per creare una tabella Delta Lake sono necessarie le seguenti autorizzazioni:

• bigquery.tables.create
• bigquery.connections.delegate

Il ruolo Identity and Access Management predefinito Amministratore BigQuery (roles/bigquery.admin) include queste autorizzazioni.

Se non sei un entità in questo ruolo, chiedi all'amministratore di concederti queste autorizzazioni o di creare la tabella Delta Lake per te.

Inoltre, per consentire agli utenti di BigQuery di eseguire query sulla tabella, il account di servizio associato alla connessione deve disporre del seguente accesso e della seguente permission:

• Ruolo Visualizzatore BigQuery (roles/bigquery.viewer)
• Ruolo Utente connessione BigQuery (roles/bigquery.connectionUser)
• Accesso al bucket Cloud Storage contenente i dati

Per ulteriori informazioni sui ruoli e sulle autorizzazioni di Identity and Access Management in BigQuery, consulta Ruoli e autorizzazioni predefiniti.

Creare tabelle con Delta Lake

Per creare tabelle Delta Lake:

CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.DELTALAKE_TABLE_NAME`
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  format ="DELTA_LAKE",
  uris=['DELTA_TABLE_GCS_BASE_PATH']);

bq mk --table --external_table_definition=DEFINITION_FILE PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "autodetect": true,
  "externalDataConfiguration": {
  "sourceFormat": "DELTA_LAKE",
  "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
  "sourceUris": [
    "DELTA_TABLE_GCS_BASE_PATH"
  ],
 },
"tableReference": {
"tableId": "DELTALAKE_TABLE_NAME"
}
}'

echo $REQUEST | curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables?autodetect_schema=true

Quando crei tabelle Delta Lake, il prefisso Delta Lake viene utilizzato come URI della tabella. Ad esempio, per una tabella con log nel gs://bucket/warehouse/basictable/_delta_log, l'URI della tabella è gs://bucket/warehouse/basictable. Quando esegui query sulla tabella Delta Lake, BigQuery legge i dati sotto il prefisso per identificare la versione corrente della tabella e poi calcola i metadati e i file della tabella.

Sebbene sia possibile creare tabelle esterne Delta Lake senza una connessione, questa operazione non è consigliata per i seguenti motivi:

• Gli utenti potrebbero riscontrare errori ACCESS_DENIED quando tentano di accedere ai file su Cloud Storage.
• Funzionalità come controllo dell'accesso granulare sono disponibili solo nelle tabelle BigLake di Delta Lake.

Aggiornare le tabelle Delta Lake

Per aggiornare (aggiornare) lo schema delle tabelle Delta Lake:

bq update --autodetect_schema PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "externalDataConfiguration": {
    "sourceFormat": "DELTA_LAKE",
    "sourceUris": [
      "DELTA_TABLE_GCS_BASE_PATH"
    ],
    "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
    "autodetect": true
  },
  "tableReference": {
    "tableId": "DELTALAKE_TABLE_NAME"
  }
}'
echo $REQUEST |curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables

Esegui query sulle tabelle Delta Lake

Dopo aver creato una tabella BigLake di Delta Lake, puoi eseguire query utilizzando la sintassi di GoogleSQL, come faresti con una tabella BigQuery standard. Ad esempio:

SELECT field1, field2 FROM mydataset.my_cloud_storage_table;

Per ulteriori informazioni, consulta Eseguire query sui dati di Cloud Storage nelle tabelle BigLake.

Per connettersi al datastore viene utilizzata una connessione esterna associata a un account di servizio. Poiché l'account servizio recupera i dati dal datastore, gli utenti devono accedere solo alla tabella Delta Lake.

Mappatura dei dati

BigQuery converte i tipi di dati di Delta Lake in tipi di dati BigQuery come mostrato nella tabella seguente:

Limitazioni

Le tabelle Delta Lake presentano le limitazioni delle tabelle BigLake, oltre ai seguenti limiti:

• Supporta la versione del lettore 3 di Delta Lake con vettori di eliminazione e mappatura delle colonne.
• Non supporta i checkpoint Delta Lake V2.
• Devi elencare la versione del lettore nell'ultimo file di voce di log. Ad esempio, le nuove tabelle devono includere 00000..0.json.
• Le operazioni di Change Data Capture (CDC) non sono supportate. Eventuali operazioni CDC esistenti vengono ignorate.
• Lo schema viene rilevato automaticamente. La modifica dello schema utilizzando BigQuery non è supportata.
• I nomi delle colonne della tabella devono rispettare le limitazioni dei nomi delle colonne di BigQuery.
• Le viste materializzate non sono supportate.
• L'API Read non è supportata per Delta Lake.

Risoluzione dei problemi

Questa sezione fornisce assistenza per le tabelle BigLake di Delta Lake. Per assistenza più generica sulla risoluzione dei problemi relativi alle query di BigQuery, consulta Risolvere i problemi relativi alle query.

Tempo di attesa della query ed errori delle risorse

Controlla la directory dei log (gs://bucket/warehouse/basictable/_delta_log) della tabella Delta Lake e cerca i file JSON con un numero di versione maggiore rispetto al punto di controllo precedente. Puoi ottenere il numero di versione elencando la directory o controllando il file _delta_log/_last_checkpoint. I file JSON di dimensioni superiori a 10 MiB possono rallentare l'espansione della tabella, il che può causare problemi di timeout e risorse. Per risolvere il problema, utilizza il seguente comando per creare un nuovo checkpoint in modo che le query ignorino la lettura dei file JSON:

  spark.sql("ALTER TABLE delta.`gs://bucket/mydeltatabledir` SET TBLPROPERTIES ('delta.checkpointInterval' = '1')");

Gli utenti possono quindi utilizzare lo stesso comando per reimpostare l'intervallo dei checkpoint sul valore predefinito 10 o su un valore che eviti di avere più di 50 MB di file JSON tra un checkpoint e l'altro.

Nome colonna non valido

Assicurati che la mappatura delle colonne sia attivata per la tabella Delta Lake. La mappatura delle colonne è supportata con Reader versione 2 o successive. Per Reader versione 1, imposta "delta.columnMapping.mode" su "name" utilizzando il seguente comando:

spark.sql("ALTER TABLE delta.`gs://bucket/mydeltatabledir` SET TBLPROPERTIES ('delta.columnMapping.mode' = 'name', 'delta.minReaderVersion' = '3', 'delta.minWriterVersion' = '7')");

Se il nome della colonna non valido rispetta le limitazioni relative ai nomi delle colonne flessibili, contatta l'assistenza clienti di Cloud o biglake-help@google.com.

Errori di accesso negato

Per diagnosticare i problemi relativi alle tabelle BigLake di Delta Lake, verifica quanto segue:

• Assicurati di utilizzare le tabelle BigLake di Delta Lake (con una connessione).

• Gli utenti dispongono dell'autorizzazione richiesta descritta.

Prestazioni

Per migliorare le prestazioni delle query, prova a svolgere i seguenti passaggi:

• Utilizza le utility Delta Lake per compattare i file di dati sottostanti e rimuovere i file ridondanti, come dati e metadati.

• Assicurati che delta.checkpoint.writeStatsAsStruct sia impostato su true.

• Assicurati che le variabili utilizzate di frequente nelle clausole del predicato siano nelle colonne di partizione.

I set di dati di grandi dimensioni (superiori a 100 TB) potrebbero trarre vantaggio da configurazioni e funzionalità aggiuntive. Se i passaggi precedenti non risolvono i problemi, conviene contattare l'Assistenza clienti o biglake-help@google.com, soprattutto per set di dati di dimensioni superiori a 100 TB.