Dataflow dibuat berdasarkan project Apache Beam open source. Anda dapat menggunakan Apache Beam SDK untuk mem-build pipeline untuk Dataflow. Dokumen ini mencantumkan beberapa referensi untuk memulai pemrograman Apache Beam.
Mulai
Menginstal Apache Beam SDK: Menunjukkan cara menginstal Apache Beam SDK sehingga Anda dapat menjalankan pipeline di Dataflow.
Membuat pipeline Java: Menunjukkan cara membuat pipeline dengan Apache Beam Java SDK dan menjalankan pipeline di Dataflow.
Membuat pipeline Python: Menunjukkan cara membuat pipeline dengan Apache Beam Python SDK dan menjalankan pipeline di Dataflow.
Membuat pipeline Go: Menunjukkan cara membuat pipeline dengan Apache Beam Go SDK dan menjalankan pipeline di Dataflow.
Mempelajari Apache Beam
Anda dapat menggunakan halaman berikut di situs Apache Beam untuk mempelajari pemrograman Apache Beam.
Panduan pemrograman Apache Beam: Memberikan panduan untuk menggunakan class Apache Beam SDK guna mem-build dan menguji pipeline Anda.
Tur Apache Beam: Panduan pembelajaran yang dapat Anda gunakan untuk memahami Apache Beam. Unit pembelajaran disertai dengan contoh kode yang dapat Anda jalankan dan ubah.
Apache Beam playground: Lingkungan interaktif untuk mencoba transformasi dan contoh Apache Beam tanpa harus menginstal Apache Beam di lingkungan Anda.
Membuat pipeline: Menjelaskan mekanisme penggunaan class di Apache Beam SDK dan langkah-langkah yang diperlukan untuk membuat pipeline.
Mengembangkan pipeline
Merencanakan pipeline: Pelajari cara merencanakan pipeline sebelum memulai pengembangan kode.
Mengembangkan dan menguji pipeline: Pelajari praktik terbaik untuk mengembangkan dan menguji pipeline Dataflow Anda.
Pipeline streaming: Pelajari pertimbangan desain penting untuk pipeline streaming, termasuk jendela, pemicu, dan watermark.
Contoh kode
Anda dapat menggunakan contoh berikut dari GitHub Apache Beam untuk mulai mem-build pipeline streaming:
- Ekstraksi kata streaming (Java)
- Streaming jumlah kata (Python), dan
streaming_wordcap(Go).