Destino de BigQuery

En esta página se ofrece una descripción general del destino de BigQuery. En él se describe el comportamiento de escritura y las limitaciones conocidas de Datastream cuando se replican datos en BigQuery.

Comportamiento de escritura

  • El tamaño máximo de los eventos al transmitir datos a BigQuery es de 20 MB.

  • Cuando configuras tu flujo, puedes seleccionar la forma en que Datastream escribe tus datos de cambio en BigQuery. Para obtener más información, consulta Configurar el modo de escritura.

Metadatos de tablas

Datastream añade una columna STRUCT llamada datastream_metadata a cada tabla que se escribe en el destino de BigQuery.

Modo de escritura de combinación

Si una tabla tiene una clave principal en la fuente, la columna contiene los siguientes campos:

  • UUID: este campo tiene el tipo de datos STRING.
  • SOURCE_TIMESTAMP: este campo tiene el tipo de datos INTEGER.

Si una tabla no tiene una clave principal, la columna contiene un campo adicional: IS_DELETED. Este campo tiene el tipo de datos BOOLEAN e indica si los datos que Datastream envía a la fuente están asociados a una operación DELETE en la fuente. Las tablas sin claves principales solo se pueden añadir.

Modo de escritura de solo anexión

La columna datastream_metadata contiene los mismos campos para las tablas con y sin claves principales:

  • UUID: este campo tiene el tipo de datos STRING.
  • SOURCE_TIMESTAMP: este campo tiene el tipo de datos INTEGER.
  • CHANGE_SEQUENCE_NUMBER: este campo tiene el tipo de datos STRING. Es un número de secuencia interno que usa Datastream para cada evento de cambio.
  • CHANGE_TYPE: este campo tiene el tipo de datos STRING. Indica el tipo de evento de cambio: INSERT, UPDATE-INSERT, UPDATE-DELETE o DELETE.
  • SORT_KEYS: este campo contiene un array de valores STRING. Puede usar los valores para ordenar los eventos de cambio.

Controlar los costes de BigQuery

Los costes de BigQuery se cobran por separado de los de Datastream. Para saber cómo controlar los costes de BigQuery, consulta los precios de CDC de BigQuery.

Limitaciones conocidas

Estas son algunas de las limitaciones conocidas al usar BigQuery como destino:

  • Solo puedes replicar datos en un conjunto de datos de BigQuery que se encuentre en el mismo proyecto que el flujo de Datastream. Google Cloud
  • De forma predeterminada, Datastream no admite la adición de una clave principal a una tabla que ya se ha replicado en BigQuery sin una clave principal, ni la eliminación de una clave principal de una tabla que se ha replicado en BigQuery con una clave principal. Si necesitas hacer estos cambios, ponte en contacto con el equipo de Asistencia de Google. Para obtener información sobre cómo cambiar la definición de la clave principal de una tabla de origen que ya tiene una clave principal, consulta Diagnosticar problemas.

  • Las claves principales de BigQuery deben ser de los siguientes tipos de datos:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Datastream no replica las tablas que contienen claves principales de tipos de datos no admitidos.

  • BigQuery no admite nombres de tabla con los caracteres ., $, /, @ ni +. Datastream sustituye estos caracteres por guiones bajos al crear tablas de destino.

    Por ejemplo, table.name en la base de datos de origen se convierte en table_name en BigQuery.

    Para obtener más información sobre los nombres de las tablas en BigQuery, consulta la sección Nombres de las tablas.

  • BigQuery no admite más de cuatro columnas de clustering. Cuando se replica una tabla con más de cuatro columnas de clave principal, Datastream usa cuatro columnas de clave principal como columnas de agrupación.

  • Datastream asigna literales de fecha y hora fuera de intervalo, como los tipos de fecha infinitos de PostgreSQL, a los siguientes valores:

    • DATE positivo al valor de 9999-12-31
    • Negativo de DATE al valor de 0001-01-01
    • TIMESTAMP positivo al valor de 9999-12-31 23:59:59.999000 UTC
    • Negativo de TIMESTAMP al valor de 0001-01-01 00:00:00 UTC

  • BigQuery no admite tablas de streaming que tengan claves principales de los tipos de datos FLOAT o REAL. Estas tablas no se replican. Para obtener más información sobre los tipos y los intervalos de fechas de BigQuery, consulta Tipos de datos.

  • Si su fuente es Salesforce, no se admite la opción de configuración Conjunto de datos de cada esquema.

Siguientes pasos