Conector de Bigtable para Beam

El conector de Beam de Bigtable (BigtableIO) es un conector de E/S de Apache Beam de código abierto que puede ayudarte a realizar operaciones por lotes y de streaming en datos de Bigtable en un flujo de procesamiento mediante Dataflow.

Si vas a migrar de HBase a Bigtable o estás ejecutando una aplicación que usa la API de HBase en lugar de las APIs de Bigtable, usa el conector de Beam de HBase de Bigtable (CloudBigtableIO) en lugar del conector que se describe en esta página.

Detalles del conector

El conector de Bigtable Beam es un componente del repositorio de Apache Beam en GitHub. La documentación de Javadoc está disponible en Class BigtableIO.

Antes de crear una canalización de Dataflow, consulta la compatibilidad con el tiempo de ejecución de Apache Beam para asegurarte de que usas una versión de Java compatible con Dataflow. Usa la versión compatible más reciente de Apache Beam.

El conector de Bigtable Beam se usa junto con el cliente de Bigtable para Java, una biblioteca de cliente que llama a las APIs de Bigtable. Escribes código para implementar una canalización que usa el conector de Dataflow, que se encarga del aprovisionamiento y la gestión de los recursos, y te ayuda con la escalabilidad y la fiabilidad del procesamiento de datos.

Para obtener más información sobre el modelo de programación de Apache Beam, consulta la documentación de Beam.

Control de flujo de escritura por lotes

Cuando envías escrituras por lotes (incluidas las solicitudes de eliminación) a una tabla mediante el conector de Bigtable de Beam, puedes habilitar el control de flujo de escritura por lotes. Cuando esta función está habilitada, Bigtable hace lo siguiente automáticamente:

  • Limita el tráfico para evitar sobrecargar el clúster de Bigtable.
  • Asegura que el clúster tenga suficiente carga para activar el autoescalado de Bigtable (si está habilitado), de forma que se añadan automáticamente más nodos al clúster cuando sea necesario.

Para obtener más información, consulta Control del flujo de escritura por lotes. Para ver un ejemplo de código, consulta Habilitar el control de flujo de escritura por lotes.

Siguientes pasos