Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Bigtable-Beam-Connector
Der Bigtable Beam-Connector (BigtableIO) ist ein Open-Source-Apache Beam-E/A-Connector, mit dem Sie Batch- und Streamingvorgänge für Bigtable-Daten in einer Pipeline mit Dataflow ausführen können.
Wenn Sie von HBase zu Bigtable migrieren oder eine Anwendung ausführen, die die HBase API anstelle der Bigtable APIs verwendet, verwenden Sie den Bigtable HBase Beam-Connector (CloudBigtableIO) anstelle des auf dieser Seite beschriebenen Connectors.
Bevor Sie eine Dataflow-Pipeline erstellen, sollten Sie die Apache Beam-Laufzeitunterstützung prüfen, um sicherzustellen, dass Sie eine Java-Version verwenden, die für Dataflow unterstützt wird. Verwenden Sie den neuesten unterstützten Release von Apache Beam.
Der Bigtable Beam-Connector wird in Verbindung mit dem Bigtable-Client für Java verwendet, einer Clientbibliothek, die die Bigtable APIs aufruft. Sie schreiben Code, um eine Pipeline bereitzustellen, die den Connector zu Dataflow verwendet. Dieser übernimmt die Bereitstellung und Verwaltung von Ressourcen und trägt zur Skalierbarkeit und Zuverlässigkeit der Datenverarbeitung bei.
Weitere Informationen zum Apache Beam-Programmiermodell finden Sie in der Beam-Dokumentation.
Ablaufsteuerung für Batchschreibvorgänge
Wenn Sie Batchschreibvorgänge (einschließlich Löschanfragen) mit dem Bigtable Beam-Connector an eine Tabelle senden, können Sie die Batchschreibflusssteuerung aktivieren. Wenn dieses Feature aktiviert ist, führt Bigtable automatisch die folgenden Schritte aus:
Traffic wird ratenbegrenzt, um eine Überlastung Ihres Bigtable-Clusters zu vermeiden.
Sorgt dafür, dass der Cluster ausreichend ausgelastet ist, um das Bigtable-Autoscaling (falls aktiviert) auszulösen, sodass bei Bedarf automatisch weitere Knoten zum Cluster hinzugefügt werden.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-27 (UTC)."],[[["\u003cp\u003eThe Bigtable Beam connector (\u003ccode\u003eBigtableIO\u003c/code\u003e) facilitates batch and streaming operations on Bigtable data within Apache Beam pipelines, especially when used in conjunction with Dataflow.\u003c/p\u003e\n"],["\u003cp\u003eFor migrations from HBase or applications using the HBase API, the Bigtable HBase Beam connector (\u003ccode\u003eCloudBigtableIO\u003c/code\u003e) should be used instead of the standard \u003ccode\u003eBigtableIO\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eThe Bigtable Beam connector is a component of the Apache Beam GitHub repository, and users should refer to the \u003ccode\u003eClass BigtableIO\u003c/code\u003e Javadoc for detailed information.\u003c/p\u003e\n"],["\u003cp\u003eWhen using Dataflow pipelines with the connector, it is important to refer to the Apache Beam runtime support page to ensure you are using a compatible version of Java.\u003c/p\u003e\n"],["\u003cp\u003eBatch write flow control, when enabled, allows Bigtable to automatically rate-limit traffic and ensure the cluster has enough load to trigger autoscaling.\u003c/p\u003e\n"]]],[],null,["# Bigtable Beam connector\n=======================\n\nThe Bigtable Beam connector (`BigtableIO`) is an open source [Apache\nBeam](https://beam.apache.org/) I/O connector that can help you perform batch and streaming\noperations on Bigtable data in a [pipeline](https://beam.apache.org/documentation/programming-guide/#creating-a-pipeline) using\n[Dataflow](/dataflow/docs/overview).\n\nIf you are migrating from HBase to Bigtable or you are running an\napplication uses the HBase API instead of the Bigtable\nAPIs, use the [Bigtable HBase Beam connector](/bigtable/docs/hbase-dataflow-java)\n(`CloudBigtableIO`) instead of the connector described on this page.\n\nConnector details\n-----------------\n\nThe Bigtable Beam connector is a component of the\n[Apache Beam GitHub\nrepository](https://github.com/apache/beam). The Javadoc is available\nat [`Class\nBigtableIO`](https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/gcp/bigtable/BigtableIO.html).\n\nBefore you create a Dataflow pipeline, check [Apache Beam\nruntime support](/dataflow/docs/support/beam-runtime-support) to make sure you\nare using a version of Java that is supported for Dataflow. Use\nthe most recent supported release of Apache Beam.\n\nThe Bigtable Beam connector is used in conjunction with the\nBigtable client for Java, a client library that calls the\nBigtable APIs. You write code to deploy a pipeline that uses the\nconnector to Dataflow, which handles the provisioning and\nmanagement of resources and assists with the scalability and reliability of data\nprocessing.\n\nFor more information on the Apache Beam programming model, see the [Beam\ndocumentation](https://beam.apache.org/get-started/beam-overview/).\n\nBatch write flow control\n------------------------\n\nWhen you send batch writes (including delete requests) to a table using the\nBigtable Beam connector, you can enable *batch write flow control*. When\nthis feature is enabled, Bigtable automatically does the\nfollowing:\n\n- Rate-limits traffic to avoid overloading your Bigtable cluster\n- Ensures the cluster is under enough load to trigger Bigtable autoscaling (if enabled), so that more nodes are automatically added to the cluster when needed\n\nFor more information, see [Batch write flow\ncontrol](/bigtable/docs/writes#flow-control). For a code sample, see [Enable\nbatch write flow control](/bigtable/docs/writing-data#batch-write-flow-control).\n\nWhat's next\n-----------\n\n- [Read an overview of Bigtable write requests.](/bigtable/docs/writes)\n- [Review a list of Dataflow templates that work with\n Bigtable.](/bigtable/docs/dataflow-templates)\n- [Bigtable Kafka Connect sink connector](/bigtable/docs/kafka-sink-connector)"]]
