Configura un destino de BigQuery

En esta página, se describe cómo configurar tu destino de BigQuery para transmitir datos desde una base de datos de origen con Datastream.

Configura los conjuntos de datos de destino

Cuando configuras conjuntos de datos para el destino de BigQuery, puedes seleccionar una de las siguientes opciones:

• Dataset for each schema: El conjunto de datos se selecciona o crea en la ubicación de BigQuery especificada, según el nombre del esquema de la fuente. Como resultado, para cada esquema en la fuente, Datastream crea automáticamente un conjunto de datos en BigQuery.

  Por ejemplo, si tienes una fuente de MySQL y esta fuente tiene una base de datos mydb y una tabla employees dentro de la base de datos, Datastream crea el conjunto de datos mydb y la tabla employees en BigQuery.

  Si seleccionas esta opción, Datastream creará conjuntos de datos en el proyecto que contiene la transmisión. Aunque no es necesario que crees los conjuntos de datos en la misma región que tu transmisión, te recomendamos que mantengas todos los recursos de la transmisión, así como los conjuntos de datos, en la misma región para optimizar el costo y el rendimiento.

• Un solo conjunto de datos para todos los esquemas: Puedes seleccionar un conjunto de datos de BigQuery para la transmisión. Datastream transmite todos los datos a este conjunto de datos. Para el conjunto de datos que selecciones, Datastream crea todas las tablas como <schema>_<table>.

  Por ejemplo, si tienes una fuente de MySQL y esta fuente tiene una base de datos mydb y una tabla employees dentro de la base de datos, Datastream crea la tabla mydb_employees en el conjunto de datos que selecciones.

Comportamiento de escritura

• El tamaño máximo del evento cuando transmites datos a BigQuery es de 20 MB.

• Cuando configures tu flujo, podrás seleccionar la forma en que Datastream escribe tus datos de cambio en BigQuery. Para obtener más información, consulta Cómo configurar el modo de escritura.

Cómo configurar el modo de escritura

Existen dos modos que puedes usar para definir cómo deseas que se escriban tus datos en BigQuery:

• Combinar: Este es el modo de escritura predeterminado. Cuando se selecciona esta opción, BigQuery refleja la forma en que se almacenan tus datos en la base de datos de origen. Esto significa que Datastream escribe todos los cambios en tus datos en BigQuery, y BigQuery luego consolida los cambios con los datos existentes, lo que crea tablas finales que son réplicas de las tablas de origen. Con el modo Merge, no se mantiene ningún registro histórico de los eventos de cambio. Por ejemplo, si insertas y, luego, actualizas una fila, BigQuery solo conserva los datos actualizados. Si luego borras la fila de la tabla de origen, BigQuery ya no conservará ningún registro de esa fila.
• Solo agregar: El modo de escritura de solo agregar te permite agregar datos a BigQuery como un flujo de cambios (eventos INSERT, UPDATE-INSERT, UPDATE-DELETE y DELETE). Usa este modo cuando necesites conservar el estado histórico de tus datos. Para comprender mejor el modo de escritura de solo anexar, considera las siguientes situaciones:
  • Carga inicial de datos históricos: Después de la carga inicial de datos históricos, todos los eventos se escriben en BigQuery como eventos de tipo INSERT, con la misma marca de tiempo, el mismo identificador único universal (UUID) y el mismo número de secuencia de cambios.
  • Actualización de clave primaria: Cuando cambia una clave primaria, se escriben dos filas en BigQuery:
    • Una fila UPDATE-DELETE con la clave primaria original
    • Una fila UPDATE-INSERT con la nueva clave primaria
  • Actualización de fila: Cuando actualizas una fila, se escribe una sola fila UPDATE-INSERT en BigQuery.
  • Borrado de filas: Cuando borras una fila, se escribe una sola fila de DELETE en BigQuery.

Metadatos de tabla

Datastream agrega una columna STRUCT llamada datastream_metadata a cada tabla que se escribe en el destino de BigQuery.

Modo de escritura de combinación

Si una tabla tiene una clave primaria en la fuente, la columna contiene los siguientes campos:

• UUID: Este campo tiene el tipo de datos STRING.
• SOURCE_TIMESTAMP: Este campo tiene el tipo de datos INTEGER.

Si una tabla no tiene una clave primaria, la columna contiene un campo adicional: IS_DELETED. Este campo tiene el tipo de datos BOOLEAN y muestra si los datos que Datastream transmite a la destinación están asociados con una operación DELETE en la fuente. Las tablas sin claves primarias son de solo anexar.

Modo de escritura de solo agregado

La columna datastream_metadata contiene los mismos campos para las tablas con y sin claves primarias:

• UUID: Este campo tiene el tipo de datos STRING.
• SOURCE_TIMESTAMP: Este campo tiene el tipo de datos INTEGER.
• CHANGE_SEQUENCE_NUMBER: Este campo tiene el tipo de datos STRING. Es un número de secuencia interno que Datastream usa para cada evento de cambio.
• CHANGE_TYPE: Este campo tiene el tipo de datos STRING. Indica el tipo de evento de cambio: INSERT, UPDATE-INSERT, UPDATE-DELETE o DELETE.
• SORT_KEYS: Este campo contiene un array de valores de STRING. Puedes usar los valores para ordenar los eventos de cambio.

Usa tablas de BigQuery con la opción max_staleness

Como parte de la transferencia casi en tiempo real, Datastream usa la compatibilidad integrada de BigQuery para las operaciones de upsert, como la actualización, la inserción y el borrado de datos. Las operaciones de upsert te permiten actualizar de forma dinámica el destino de BigQuery a medida que se agregan, modifican o borran filas. Datastream transmite estas operaciones de upsert a la tabla de destino con la API de Storage Write de BigQuery.

Especifica el límite de inactividad de los datos

BigQuery aplica las modificaciones de la fuente en segundo plano de manera continua o en el tiempo de ejecución de la consulta, de acuerdo con el límite de inactividad de los datos configurado. Cuando Datastream crea una tabla nueva en BigQuery, la opción max_staleness de la tabla se establece según el valor actual del límite de inactividad de los datos para la transmisión.

Para obtener más información sobre el uso de tablas de BigQuery con la opción max_staleness, consulta Antigüedad de la tabla.

Controla los costos de BigQuery

Los costos de BigQuery se cobran por separado de los de Datastream. Para obtener información sobre cómo controlar los costos de BigQuery, consulta Precios de los CDC de BigQuery.

Tipos de datos de mapas

En la siguiente tabla, se enumeran las conversiones de tipos de datos de las bases de datos de origen admitidas al destino de BigQuery.

Tipos de datos de MongoDB

Los documentos JSON binarios (BSON) de MongoDB se escriben en BigQuery en el formato de modo estricto de JSON extendido de MongoDB (v1). En la tabla, se muestra cómo se representan los tipos de datos en BigQuery, junto con valores de ejemplo.

[
    "item1",
    123,
    true,
    { subItem: "object in array" }
  ]
    

Cómo consultar un array de PostgreSQL como un tipo de datos de array de BigQuery

Si prefieres consultar un array de PostgreSQL como un tipo de datos ARRAY de BigQuery, puedes convertir los valores de JSON en un array de BigQuery con la función JSON_VALUE_ARRAY de BigQuery:

  SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_col
  

Reemplaza lo siguiente:

• TYPE: Es el tipo de BigQuery que coincide con el tipo de elemento del array de origen de PostgreSQL. Por ejemplo, si el tipo de fuente es un array de valores BIGINT, reemplaza TYPE por INT64.

  Para obtener más información sobre cómo asignar los tipos de datos, consulta Cómo asignar tipos de datos.

• BQ_COLUMN_NAME: Es el nombre de la columna pertinente en la tabla de BigQuery.

Existen 2 excepciones a la forma en que conviertes los valores:

• Para los arrays de valores BIT, BIT_VARYING o BYTEA en la columna de origen, ejecuta la siguiente consulta:

  SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_bytes

• Para los arrays de valores JSON o JSONB en la columna de origen, usa la función JSON_QUERY_ARRAY:

  SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_jsons

Limitaciones conocidas

Entre las limitaciones conocidas para usar BigQuery como destino, se incluyen las siguientes:

• Solo puedes replicar datos en un conjunto de datos de BigQuery que resida en el mismo proyecto Google Cloud que la transmisión de Datastream.
• De forma predeterminada, Datastream no admite agregar una clave primaria a una tabla que ya se replicó en BigQuery sin una clave primaria, ni quitar una clave primaria de una tabla que se replicó en BigQuery con una clave primaria. Si necesitas realizar estos cambios, comunícate con el equipo de asistencia de Google. Para obtener información sobre cómo cambiar la definición de la clave primaria de una tabla de origen que ya tiene una clave primaria, consulta Diagnostica problemas.

• Las claves principales en BigQuery deben ser de los siguientes tipos de datos:

  • DATE
  • BOOL
  • GEOGRAPHY
  • INT64
  • NUMERIC
  • BIGNUMERIC
  • STRING
  • TIMESTAMP
  • DATETIME

  Datastream no replica las tablas que contienen claves primarias de tipos de datos no admitidos.

• BigQuery no admite nombres de tablas con caracteres ., $, /, @ ni +. Datastream reemplaza esos caracteres por guiones bajos cuando crea tablas de destino.

  Por ejemplo, table.name en la base de datos de origen se convierte en table_name en BigQuery.

  Para obtener más información sobre los nombres de las tablas en BigQuery, consulta Nombres de tablas.

• BigQuery no admite más de cuatro columnas de agrupamiento en clústeres. Cuando se replica una tabla con más de cuatro columnas de clave primaria, Datastream usa cuatro columnas de clave primaria como columnas de agrupamiento en clústeres.

• Datastream asigna literales de fecha y hora fuera del rango, como los tipos de fecha infinita de PostgreSQL, a los siguientes valores:

  • DATE positivo al valor de 9999-12-31
  • DATE negativo al valor de 0001-01-01
  • TIMESTAMP positivo al valor de 9999-12-31 23:59:59.999000 UTC
  • TIMESTAMP negativo al valor de 0001-01-01 00:00:00 UTC

• BigQuery no admite tablas de transmisión que tengan claves primarias de tipos de datos FLOAT o REAL. Estas tablas no se replican. Para obtener más información sobre los tipos y los rangos de fechas de BigQuery, consulta Tipos de datos.

• Si tu fuente es Salesforce, no se admite la opción de configuración Dataset for each schema.

¿Qué sigue?

• Aprende a replicar datos de una base de datos de origen en conjuntos de datos de BigQuery con Datastream.