Connecteur Bigtable Beam

Le connecteur Bigtable Beam (BigtableIO) est un connecteur d'E/S Apache Beam Open Source qui peut vous aider à effectuer des opérations par lot et par flux sur les données Bigtable dans un pipeline à l'aide de Dataflow.

Si vous migrez de HBase vers Bigtable ou si vous exécutez une application qui utilise l'API HBase au lieu des API Bigtable, utilisez le connecteur Bigtable HBase Beam (CloudBigtableIO) au lieu du connecteur décrit sur cette page.

Informations sur le connecteur

Le connecteur Bigtable Beam est un composant du dépôt GitHub Apache Beam. La documentation Javadoc est disponible sur Class BigtableIO.

Avant de créer un pipeline Dataflow, vérifiez la compatibilité de l'exécution Apache Beam pour vous assurer d'utiliser une version de Java compatible avec Dataflow. Utilisez la version la plus récente d'Apache Beam.

Le connecteur Bigtable Beam est utilisé conjointement avec le client Bigtable pour Java, une bibliothèque cliente qui appelle les API Bigtable. Vous écrivez du code pour déployer un pipeline qui utilise le connecteur vers Dataflow, qui gère le provisionnement et la gestion des ressources, et contribue à l'évolutivité et à la fiabilité du traitement des données.

Pour en savoir plus sur le modèle de programmation Apache Beam, consultez la documentation Beam.

Contrôle de flux d'écriture par lot

Lorsque vous envoyez des écritures par lot (y compris des requêtes de suppression) à une table à l'aide du connecteur Bigtable Beam, vous pouvez activer le contrôle du flux d'écriture par lot. Lorsque cette fonctionnalité est activée, Bigtable effectue automatiquement les opérations suivantes :

  • Limiter le débit du trafic pour éviter de surcharger votre cluster Bigtable
  • Garantit que le cluster est suffisamment chargé pour déclencher l'autoscaling Bigtable (s'il est activé), de sorte que des nœuds supplémentaires sont automatiquement ajoutés au cluster si nécessaire

Pour en savoir plus, consultez Contrôle du flux d'écriture par lot. Pour obtenir un exemple de code, consultez Activer le contrôle du flux d'écriture par lot.

Étapes suivantes