Dokumentasi Dataflow
Dataflow adalah layanan terkelola untuk menjalankan berbagai macam pola pemrosesan data. Dokumentasi di situs ini menunjukkan cara men-deploy pipeline pemrosesan data batch dan streaming menggunakan Dataflow, termasuk petunjuk untuk menggunakan fitur layanan.
Apache Beam SDK adalah model pemrograman open source yang memungkinkan Anda mengembangkan pipeline batch dan streaming. Anda membuat pipeline dengan program Apache Beam, lalu menjalankannya di layanan Dataflow. Dokumentasi Apache Beammemberikan informasi konseptual dan materi referensi mendalam untuk model pemrograman, SDK, dan runner lainnya Apache Beam.
Untuk mempelajari konsep dasar Apache Beam, lihat Tour of Beam dan Beam Playground. Repositori Dataflow Cookbook juga menyediakan pipeline yang siap diluncurkan dan mandiri serta kasus penggunaan Dataflow yang paling umum.
Mulai bukti konsep Anda dengan kredit gratis senilai $300
- Mendapatkan akses ke Gemini 2.0 Flash Thinking
- Penggunaan bulanan gratis untuk produk populer, termasuk AI API dan BigQuery
- Tidak ada biaya otomatis, tanpa komitmen
Terus jelajahi dengan lebih dari 20 produk yang selalu gratis
Akses 20+ produk gratis untuk kasus penggunaan umum, termasuk API AI, VM, data warehouse, dan lainnya.
Referensi dokumentasi
Panduan
Referensi terkait
Menjalankan workload paralel tinggi HPC
Dengan Dataflow, Anda dapat menjalankan workload yang sangat paralel dalam satu pipeline, sehingga meningkatkan efisiensi dan mempermudah pengelolaan alur kerja.
Menjalankan inferensi dengan Dataflow ML
Dengan Dataflow ML, Anda dapat menggunakan Dataflow untuk men-deploy dan mengelola pipeline machine learning (ML) yang lengkap. Menggunakan model ML untuk melakukan inferensi lokal dan jarak jauh dengan pipeline streaming dan batch. Menggunakan alat pemrosesan data guna menyiapkan data Anda untuk pelatihan model dan memproses hasil model.
Membuat pipeline streaming e-commerce
Bangun aplikasi contoh e-commerce menyeluruh yang mengalirkan data dari toko web ke BigQuery dan Bigtable. Aplikasi contoh ini menggambarkan kasus penggunaan umum dan praktik terbaik untuk menerapkan analisis data streaming dan kecerdasan buatan (AI) real-time.