Konektor Bigtable Beam

Konektor Bigtable Beam (BigtableIO) adalah konektor I/O Apache Beam open source yang dapat membantu Anda melakukan operasi batch dan streaming pada data Bigtable dalam pipeline menggunakan Dataflow.

Jika Anda memigrasikan data dari HBase ke Bigtable atau menjalankan aplikasi yang menggunakan HBase API, bukan Bigtable API, gunakan konektor Bigtable HBase Beam (CloudBigtableIO), bukan konektor yang dijelaskan di halaman ini.

Detail konektor

Konektor Bigtable Beam adalah komponen dari repositori Apache Beam GitHub. Javadoc tersedia di Class BigtableIO.

Sebelum membuat pipeline Dataflow, periksa dukungan runtime Apache Beam untuk memastikan Anda menggunakan versi Java yang didukung untuk Dataflow. Gunakan rilis Apache Beam terbaru yang didukung.

Konektor Bigtable Beam digunakan bersama dengan klien Bigtable untuk Java, yaitu library klien yang memanggil Bigtable API. Anda menulis kode untuk men-deploy pipeline yang menggunakan konektor ke Dataflow, yang menangani penyediaan dan pengelolaan resource serta membantu skalabilitas dan keandalan pemrosesan data.

Untuk mengetahui informasi selengkapnya tentang model pemrograman Apache Beam, lihat dokumentasi Beam.

Kontrol alur penulisan batch

Saat mengirim batch tulis (termasuk permintaan penghapusan) ke tabel menggunakan konektor Bigtable Beam, Anda dapat mengaktifkan kontrol alur batch tulis. Jika fitur ini diaktifkan, Bigtable akan otomatis melakukan hal berikut:

  • Membatasi laju traffic untuk menghindari kelebihan beban pada cluster Bigtable
  • Memastikan cluster berada di bawah beban yang cukup untuk memicu penskalaan otomatis Bigtable (jika diaktifkan), sehingga lebih banyak node ditambahkan secara otomatis ke cluster saat diperlukan

Untuk mengetahui informasi selengkapnya, lihat Kontrol alur penulisan batch. Untuk contoh kode, lihat Mengaktifkan kontrol alur batch operasi tulis.

Langkah berikutnya