Descripción general de los flujos de cambios

Bigtable proporciona la captura de datos modificados (CDC) con su función de flujos de cambios. Un flujo de cambios captura los cambios de datos en una tabla de Bigtable mientras ocurren, lo que te permite transmitirlos para su procesamiento o análisis.

En este documento, se proporciona una descripción general de los flujos de cambios de Bigtable. Antes de leer este documento, debes familiarizarte con la descripción general de Bigtable.

Los flujos de cambios son valiosos para los casos de uso de CDC, incluidos los siguientes:

  • Activa la lógica de la aplicación descendente cuando se producen cambios especificados
  • Integración con una canalización de análisis de datos
  • Satisface los requisitos de auditoría y archivado

Qué es una transmisión de cambios

Un flujo de cambios realiza un seguimiento de los cambios a nivel de la tabla que realiza un usuario o una aplicación, por lo general, con una de las bibliotecas cliente de Cloud Bigtable. También se capturan los cambios de recolección de elementos no utilizados.

Todos los cambios que se aplican a una tabla habilitada para el flujo de cambios se almacenan como registros de cambios de datos. Los registros de cambios de datos incluyen los cambios de datos que aplican los siguientes elementos:

  • Operaciones de escritura, eliminación y actualización que se envían con los métodos MutateRow, MutateRows, CheckAndMutateRow y ReadModifyWriteRow de la API de Cloud Bigtable
  • Eliminaciones que se realizan debido a la recolección de elementos no utilizados
  • Filas borradas con el método DropRowRange de la API de Admin

Para obtener detalles sobre los tipos de cambios que puedes enviar a una tabla de Bigtable, consulta Lecturas, Escritura, Borrado y Descripción general de la recolección de basura.

Los flujos de cambios no realizan un seguimiento de los cambios en el esquema, como agregar o modificar una familia de columnas, o la topología de replicación, como agregar o quitar un clúster.

Los registros de cambios de datos de cada clave de fila y cada clúster están en orden de marca de tiempo de confirmación. Sin embargo, no hay garantía de orden en los registros de cambios de datos para una clave de fila o un clúster diferentes.

Habilitas flujos de cambios en una tabla y especificas un período de retención de 1 a 7 días.

Qué contiene un registro de cambios de datos

Cada registro de cambio de datos contiene todos los cambios de una fila que se aplicaron de forma atómica como parte de una sola llamada a RPC.

Si se reemplaza un valor, el valor escrito recientemente se registra en el registro de cambios de datos. El registro de cambio de datos no contiene el valor anterior.

Un registro de cambios de datos recibe su marca de tiempo, llamada marca de tiempo de confirmación, al mismo tiempo que se aplica el cambio al primer clúster que lo recibe. Por ejemplo, considera una instancia con dos clústeres. Si envías una solicitud de escritura a la tabla 1 en el clúster A, la marca de tiempo de confirmación del registro de cambios de datos se asigna cuando el clúster A recibe la operación de escritura, y el registro de cambios de datos en el clúster B para esta operación tiene la misma marca de tiempo de confirmación.

Cada registro de cambio de datos contiene lo siguiente:

  • Entradas: Son los cambios realizados en la fila, incluidos uno o más de los siguientes:
    • Escritura
      • Familia de columnas
      • Calificador de columna
      • Marca de tiempo
      • Valor
    • Eliminación de celdas
      • Familia de columnas
      • Calificador de columna
      • Rango de marca de tiempo
    • Eliminación de una familia de columnas
      • Familia de columnas
      • Eliminación de una fila: La eliminación de una fila se convierte en una lista de eliminaciones de familias de columnas para cada familia de columnas en la que la fila tiene datos.
  • Clave de fila: Es el identificador de la fila modificada.
  • Tipo de cambio: iniciado por el usuario o recolección de elementos no utilizados
  • ID del clúster que recibió el cambio
  • Marca de tiempo de confirmación: Es la hora del servidor en la que se confirmó el cambio en la tabla.
  • Desempate: Es un valor que permite que la aplicación que lee el flujo use la política de resolución de conflictos integrada de Bigtable.
  • Token: La aplicación consumidora lo usa para reanudar la transmisión si se interrumpe.
  • Marca de agua baja estimada: Es el tiempo estimado desde que la partición del registro se puso al día con la replicación en todos los clústeres. Para obtener más información, consulta Particiones y Marcas de agua.

Para obtener más información sobre los campos de un registro de cambio de datos, consulta la referencia de la API de DataChange.

Cambia el almacenamiento de la transmisión de cambios

Una tabla y su flujo de cambios comparten los mismos recursos a nivel del clúster, incluidos los nodos y el almacenamiento. Como resultado, el almacenamiento de datos del flujo de cambios forma parte del almacenamiento de una tabla. En una instancia que usa la replicación, se almacena una copia de los datos de un flujo de cambios en cada clúster de la instancia que contiene la tabla habilitada para el flujo de cambios.

El almacenamiento que se usa para los datos de tu flujo de cambios no se contabiliza en el uso total del almacenamiento (% máx.). Como resultado, no es necesario agregar nodos para controlar el aumento de almacenamiento que consumen los datos de flujo de cambios (aunque es posible que necesites agregar nodos para obtener más potencia de procesamiento). Sin embargo, se te cobra por el almacenamiento que consumen tus datos de flujo de cambios. Para obtener más información, consulta Consideraciones sobre los costos.

Cómo leer un flujo de cambios

Para leer (transmitir) un flujo de cambios, debes usar un perfil de aplicación configurado para el enrutamiento de un solo clúster y, si transmites con Dataflow, debes habilitar las transacciones de fila única.

Para obtener más información sobre las políticas de enrutamiento, consulta Opciones de enrutamiento.

Para obtener más información sobre las transacciones de una sola fila, consulta Transacciones de una sola fila.

La API de Cloud Bigtable (API de datos) proporciona los métodos de flujo de cambios. Te recomendamos que uses una de las siguientes opciones en lugar de llamar a la API sin usar una biblioteca cliente o un conector:

  • Plantillas de Dataflow
  • Conector de Beam para Bigtable
  • Biblioteca cliente de Java

Todas las opciones te permiten evitar la necesidad de hacer un seguimiento y controlar los cambios de partición debido a las divisiones y las combinaciones.

Para obtener más información, consulta ReadChangeStream

Plantillas de Dataflow

Puedes usar una de las siguientes plantillas de Dataflow que proporciona Google:

Conector de Beam para Bigtable

Puedes usar el conector de Bigtable Beam para compilar una canalización:

Si no deseas compilar tu propia canalización, puedes usar las muestras de código del instructivo o la guía de inicio rápido de Bigtable como punto de partida para tu código:

Biblioteca cliente de Java

Particiones

Para mantener una alta capacidad de procesamiento de lectura que coincida con una alta tasa de escritura o cambio, Bigtable divide un flujo de cambios en varias particiones que se pueden usar para leer el flujo de cambios en paralelo. Cada partición del flujo de cambios está asociada con una tablet. Las tablas son sub secciones de una tabla que se redistribuyen según sea necesario para ayudar a equilibrar la carga de trabajo de las solicitudes de la tabla. Para obtener más información, consulta Balanceo de cargas.

La biblioteca cliente de Java te permite consultar cada partición en busca de cambios y proporciona la información necesaria para administrar los cambios en las particiones debido a divisiones y combinaciones.

Marcas de agua

Una marca de agua es una marca de tiempo que estima la fecha en la que una partición se actualizó con la replicación en todos los clústeres. La marca de agua de la partición se actualiza de forma continua a medida que se produce la replicación y avanza en el tiempo.

Cada ChangeStreamMutation (registro de cambios de datos) incluye un campo estimatedLowWatermark, que es la marca de agua de la partición asociada con el registro de cambios de datos. Este estimatedLowWatermark es una estimación y no garantiza que no haya datos que aún no lleguen a la transmisión.

Marcas de agua para tablas replicadas

El estimatedLowWatermark (marca de agua baja) de una partición no avanza si la replicación no se pone al día por completo para la partición. La marca de agua baja en todo el flujo, la más baja de todas las marcas de agua bajas estimadas a nivel de la partición, deja de avanzar si la marca de agua de alguna partición no avanza. Una marca de agua que dejó de avanzar se considera detenida. Cuando esto ocurre, si estás transmitiendo tu flujo de cambios en una canalización, esta se detiene.

Muchos factores pueden provocar que una o más marcas de agua a nivel de la partición se detengan durante un tiempo, incluidos los siguientes:

  • Sobrecargar un clúster con tráfico que hace que la replicación se retrase en una o más particiones
  • Retrasos de red
  • No disponibilidad del clúster

El conector de Bigtable Beam controla esto configurando la marca de tiempo de salida en cero para todos los datos. Para obtener más información, consulta Cómo agrupar datos sin tiempos de eventos.

Supervisión

Para ayudarte a comprender cómo habilitar un flujo de cambios afecta la CPU y el uso de almacenamiento de una instancia que contiene tablas habilitadas para el flujo de cambios, proporcionamos dos métricas específicas del flujo de cambios. Puedes ver las métricas en la página de supervisión de Bigtable o con el paquete de herramientas de Cloud Monitoring.

Para obtener más información sobre estas métricas, consulta Supervisión.

Consideraciones de costo

Habilitar un flujo de cambios en una tabla aumenta los costos de los nodos y el almacenamiento. En particular, es posible que debas asumir más costos de almacenamiento.

Nodos

Por lo general, debes agregar nodos a un clúster (o aumentar la cantidad máxima de nodos si usas el ajuste de escala automático) para controlar el tráfico adicional de habilitar y procesar los registros de cambios de datos.

Habilitar un flujo de cambios puede aumentar el uso de la CPU en un 10%, incluso antes de que comiences a procesarlo. El procesamiento de un flujo de cambios, como leerlo con una canalización de Dataflow, puede aumentar el uso de la CPU en alrededor de un 20% a 30%, según el nivel de actividad de cambios y cómo se leen los datos del flujo.

Almacenamiento

Se te cobran las tarifas de almacenamiento estándar de Bigtable para almacenar los registros de cambios de datos de tu tabla. También se te cobra por almacenar la tabla que se crea para hacer un seguimiento de los metadatos del flujo de cambios. El período de retención que especificas afecta directamente los costos de almacenamiento.

Como regla general, los registros de cambios de datos de un día, que reflejan solo las mutaciones que ocurrieron ese día, ocupan alrededor de 1.5 veces más espacio de almacenamiento que los datos que se escribieron ese día en el disco.

Transferencia de datos de red

Si lees un flujo de cambios en varias regiones, puedes incurrir en costos por ese tráfico. Consulta la sección Red en los precios de Bigtable para obtener una lista completa de las tarifas de transferencia de datos de red.

Costos de procesamiento

Según cómo leas los registros de cambios de datos, se aplican costos adicionales por servicios distintos de Bigtable. Por ejemplo, si usas Dataflow, pagas por los bytes que se procesan y las máquinas trabajadoras que procesan el trabajo. Para obtener más detalles, consulta Precios de Dataflow.

Quitar rangos de filas

Si es posible, evita eliminar un rango de filas de una tabla que tenga habilitado un flujo de cambios. Si debes quitarlo, ten en cuenta que esta operación en Bigtable podría tardar mucho en completarse y producir que el uso de CPU aumente durante la operación.

¿Qué sigue?