Bigtable-Beam-Connector

Der Bigtable Beam-Connector (BigtableIO) ist ein Open-Source-Apache Beam-E/A-Connector, mit dem Sie Batch- und Streamingvorgänge für Bigtable-Daten in einer Pipeline mit Dataflow ausführen können.

Wenn Sie von HBase zu Bigtable migrieren oder eine Anwendung ausführen, die die HBase API anstelle der Bigtable APIs verwendet, verwenden Sie den Bigtable HBase Beam-Connector (CloudBigtableIO) anstelle des auf dieser Seite beschriebenen Connectors.

Connector-Details

Der Bigtable Beam-Connector ist eine Komponente des Apache Beam GitHub-Repositorys. Die Javadoc-Dokumentation ist unter Class BigtableIO verfügbar.

Bevor Sie eine Dataflow-Pipeline erstellen, sollten Sie die Apache Beam-Laufzeitunterstützung prüfen, um sicherzustellen, dass Sie eine Java-Version verwenden, die für Dataflow unterstützt wird. Verwenden Sie den neuesten unterstützten Release von Apache Beam.

Der Bigtable Beam-Connector wird in Verbindung mit dem Bigtable-Client für Java verwendet, einer Clientbibliothek, die die Bigtable APIs aufruft. Sie schreiben Code, um eine Pipeline bereitzustellen, die den Connector zu Dataflow verwendet. Dieser übernimmt die Bereitstellung und Verwaltung von Ressourcen und trägt zur Skalierbarkeit und Zuverlässigkeit der Datenverarbeitung bei.

Weitere Informationen zum Apache Beam-Programmiermodell finden Sie in der Beam-Dokumentation.

Ablaufsteuerung für Batchschreibvorgänge

Wenn Sie Batchschreibvorgänge (einschließlich Löschanfragen) mit dem Bigtable Beam-Connector an eine Tabelle senden, können Sie die Batchschreibflusssteuerung aktivieren. Wenn dieses Feature aktiviert ist, führt Bigtable automatisch die folgenden Schritte aus:

  • Traffic wird ratenbegrenzt, um eine Überlastung Ihres Bigtable-Clusters zu vermeiden.
  • Sorgt dafür, dass der Cluster ausreichend ausgelastet ist, um das Bigtable-Autoscaling (falls aktiviert) auszulösen, sodass bei Bedarf automatisch weitere Knoten zum Cluster hinzugefügt werden.

Weitere Informationen finden Sie unter Batch-Schreibvorgänge steuern. Ein Codebeispiel finden Sie unter Batchschreibvorgänge mit Flusssteuerung aktivieren.

Nächste Schritte