Destinazione BigQuery

Questa pagina fornisce una panoramica della destinazione BigQuery. Descrive il comportamento di scrittura e le limitazioni note di Datastream quando replichi i dati in BigQuery.

Comportamento di scrittura

  • La dimensione massima dell'evento quando trasmetti flussi di dati in BigQuery è 20 MB.

  • Quando configuri lo stream, puoi selezionare il modo in cui Datastream scrive i dati delle modifiche in BigQuery. Per saperne di più, vedi Configurare la modalità di scrittura.

Metadati tabelle

Datastream aggiunge una colonna STRUCT denominata datastream_metadata a ogni tabella scritta nella destinazione BigQuery.

Modalità di scrittura unione

Se una tabella ha una chiave primaria nell'origine, la colonna contiene i seguenti campi:

  • UUID: questo campo ha il tipo di dati STRING.
  • SOURCE_TIMESTAMP: questo campo ha il tipo di dati INTEGER.

Se una tabella non ha una chiave primaria, la colonna contiene un campo aggiuntivo: IS_DELETED. Questo campo ha il tipo di dati BOOLEAN e indica se i dati che Datastream trasmette in streaming alla destinazione sono associati a un'operazione DELETE nell'origine. Le tabelle senza chiavi primarie sono solo di accodamento.

Modalità di scrittura solo aggiunta

La colonna datastream_metadata contiene gli stessi campi per le tabelle con e senza chiavi primarie:

  • UUID: questo campo ha il tipo di dati STRING.
  • SOURCE_TIMESTAMP: questo campo ha il tipo di dati INTEGER.
  • CHANGE_SEQUENCE_NUMBER: questo campo ha il tipo di dati STRING. È un numero di sequenza interno utilizzato da Datastream per ogni evento di modifica.
  • CHANGE_TYPE: questo campo ha il tipo di dati STRING. Indica il tipo di evento di modifica: INSERT, UPDATE-INSERT, UPDATE-DELETE o DELETE.
  • SORT_KEYS: questo campo contiene un array di valori STRING. Puoi utilizzare i valori per ordinare gli eventi di modifica.

Controllare i costi di BigQuery

I costi di BigQuery vengono addebitati separatamente da Datastream. Per scoprire come controllare i costi di BigQuery, consulta la pagina Prezzi di BigQuery CDC.

Limitazioni note

I limiti noti per l'utilizzo di BigQuery come destinazione includono:

  • Puoi replicare i dati solo in un set di dati BigQuery che si trova nello stesso progetto Google Cloud del flusso Datastream.
  • Per impostazione predefinita, Datastream non supporta l'aggiunta di una chiave primaria a una tabella già replicata in BigQuery senza chiave primaria o la rimozione di una chiave primaria da una tabella replicata in BigQuery con una chiave primaria. Se devi apportare queste modifiche, contatta l'Assistenza Google. Per informazioni sulla modifica della definizione della chiave primaria per una tabella di origine che ha già una chiave primaria, vedi Diagnosticare i problemi.

  • Le chiavi primarie in BigQuery devono essere dei seguenti tipi di dati:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Le tabelle che contengono chiavi primarie di tipi di dati non supportati non vengono replicate da Datastream.

  • BigQuery non supporta i nomi delle tabelle con i caratteri ., $, /, @ o +. Datastream sostituisce questi caratteri con i trattini bassi durante la creazione delle tabelle di destinazione.

    Ad esempio, table.name nel database di origine diventa table_name in BigQuery.

    Per ulteriori informazioni sui nomi delle tabelle in BigQuery, consulta Denominazione delle tabelle.

  • BigQuery non supporta più di quattro colonne di clustering. Quando replica una tabella con più di quattro colonne della chiave primaria, Datastream utilizza quattro colonne della chiave primaria come colonne di clustering.

  • Datastream mappa i valori letterali di data e ora fuori intervallo, ad esempio i tipi di dati di data di PostgreSQL, ai seguenti valori:

    • Valore positivo di DATE al valore di 9999-12-31
    • Valore negativo di DATE al valore di 0001-01-01
    • Valore positivo di TIMESTAMP al valore di 9999-12-31 23:59:59.999000 UTC
    • Valore negativo di TIMESTAMP al valore di 0001-01-01 00:00:00 UTC

  • BigQuery non supporta le tabelle di streaming con chiavi primarie di tipo FLOAT o REAL. Queste tabelle non vengono replicate. Per scoprire di più sui tipi e sugli intervalli di date di BigQuery, consulta Tipi di dati.

  • Se l'origine è Salesforce, l'opzione di configurazione Set di dati per ogni schema non è supportata.

Passaggi successivi