Destino de BigQuery

En esta página, se proporciona una descripción general del destino de BigQuery. Describe el comportamiento de escritura y las limitaciones conocidas de Datastream cuando replicas datos en BigQuery.

Comportamiento de escritura

  • El tamaño máximo del evento cuando transmites datos a BigQuery es de 20 MB.

  • Cuando configures tu flujo, podrás seleccionar la forma en que Datastream escribe tus datos de cambio en BigQuery. Para obtener más información, consulta Cómo configurar el modo de escritura.

Metadatos de tabla

Datastream agrega una columna STRUCT llamada datastream_metadata a cada tabla que se escribe en el destino de BigQuery.

Modo de escritura de combinación

Si una tabla tiene una clave primaria en la fuente, la columna contiene los siguientes campos:

  • UUID: Este campo tiene el tipo de datos STRING.
  • SOURCE_TIMESTAMP: Este campo tiene el tipo de datos INTEGER.

Si una tabla no tiene una clave primaria, la columna contiene un campo adicional: IS_DELETED. Este campo tiene el tipo de datos BOOLEAN y muestra si los datos que Datastream transmite al destino están asociados con una operación DELETE en la fuente. Las tablas sin claves primarias son de solo anexar.

Modo de escritura de solo agregado

La columna datastream_metadata contiene los mismos campos para las tablas con y sin claves primarias:

  • UUID: Este campo tiene el tipo de datos STRING.
  • SOURCE_TIMESTAMP: Este campo tiene el tipo de datos INTEGER.
  • CHANGE_SEQUENCE_NUMBER: Este campo tiene el tipo de datos STRING. Es un número de secuencia interno que Datastream usa para cada evento de cambio.
  • CHANGE_TYPE: Este campo tiene el tipo de datos STRING. Indica el tipo de evento de cambio: INSERT, UPDATE-INSERT, UPDATE-DELETE o DELETE.
  • SORT_KEYS: Este campo contiene un array de valores de STRING. Puedes usar los valores para ordenar los eventos de cambio.

Controla los costos de BigQuery

Los costos de BigQuery se cobran por separado de los de Datastream. Para obtener información sobre cómo controlar los costos de BigQuery, consulta Precios de los CDC de BigQuery.

Limitaciones conocidas

Entre las limitaciones conocidas para usar BigQuery como destino, se incluyen las siguientes:

  • Solo puedes replicar datos en un conjunto de datos de BigQuery que resida en el mismo proyecto Google Cloud que la transmisión de Datastream.
  • De forma predeterminada, Datastream no admite agregar una clave primaria a una tabla que ya se replicó en BigQuery sin una clave primaria, ni quitar una clave primaria de una tabla que se replicó en BigQuery con una clave primaria. Si necesitas realizar estos cambios, comunícate con el equipo de asistencia de Google. Para obtener información sobre cómo cambiar la definición de la clave primaria de una tabla de origen que ya tiene una clave primaria, consulta Diagnostica problemas.

  • Las claves principales en BigQuery deben ser de los siguientes tipos de datos:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Datastream no replica las tablas que contienen claves primarias de tipos de datos no admitidos.

  • BigQuery no admite nombres de tablas con caracteres ., $, /, @ ni +. Datastream reemplaza esos caracteres por guiones bajos cuando crea tablas de destino.

    Por ejemplo, table.name en la base de datos de origen se convierte en table_name en BigQuery.

    Para obtener más información sobre los nombres de las tablas en BigQuery, consulta Nombres de tablas.

  • BigQuery no admite más de cuatro columnas de agrupamiento en clústeres. Cuando se replica una tabla con más de cuatro columnas de clave primaria, Datastream usa cuatro columnas de clave primaria como columnas de agrupamiento en clústeres.

  • Datastream asigna literales de fecha y hora fuera del rango, como los tipos de fecha infinita de PostgreSQL, a los siguientes valores:

    • DATE positivo al valor de 9999-12-31
    • DATE negativo al valor de 0001-01-01
    • TIMESTAMP positivo al valor de 9999-12-31 23:59:59.999000 UTC
    • TIMESTAMP negativo al valor de 0001-01-01 00:00:00 UTC

  • BigQuery no admite tablas de transmisión que tengan claves primarias de tipos de datos FLOAT o REAL. Estas tablas no se replican. Para obtener más información sobre los tipos y los rangos de fechas de BigQuery, consulta Tipos de datos.

  • Si tu fuente es Salesforce, no se admite la opción de configuración Dataset for each schema.

¿Qué sigue?