Saat menjalankan pipeline menggunakan Dataflow, Anda dapat melihat tugas tersebut dan tugas lainnya menggunakan antarmuka pemantauan Dataflow. Antarmuka pemantauan memungkinkan Anda melihat dan berinteraksi dengan tugas Dataflow.
Anda dapat mengakses antarmuka pemantauan Dataflow di konsol Google Cloud.
Tugas yang dapat Anda lakukan dengan menggunakan antarmuka pemantauan meliputi hal berikut:
- Melihat daftar tugas yang sedang berjalan, selesai, dan gagal.
- Melihat representasi grafis tahap tugas dan progres setiap tahap
- Melihat grafik metrik tugas, seperti keaktualan data, penggunaan resource, dan permintaan I/O.
- Memantau perkiraan biaya tugas.
- Melihat log pipeline.
- Identifikasi langkah yang mungkin menyebabkan jeda pipeline.
- Identifikasi penyebab latensi di sumber dan sink Anda.
- Memahami error pipeline.
Memantau komponen antarmuka
Antarmuka pemantauan berisi visualisasi dan diagram berikut:
- Dasbor pemantauan project
- Dasbor yang memantau tugas Dataflow Anda di tingkat project.
- Daftar lowongan
- Daftar semua tugas Dataflow yang berjalan dan semua tugas yang berjalan dalam 30 hari terakhir, beserta status, region, waktu yang berlalu, dan informasi lainnya.
- Grafik tugas
- Representasi grafis pipeline. Grafik tugas juga memberikan ringkasan tugas, log tugas, dan informasi tentang setiap langkah dalam pipeline.
- Detail eksekusi
- Menampilkan tahap eksekusi tugas, keaktualan data untuk tugas streaming, dan progres pekerja untuk tugas batch.
- Metrik tugas
- Diagram yang menampilkan metrik selama durasi tugas.
- Perkiraan biaya
- Estimasi biaya tugas Dataflow Anda, berdasarkan metrik penggunaan resource.
- Saran
- Rekomendasi untuk meningkatkan performa tugas, mengurangi biaya, dan memecahkan masalah error.
- Penskalaan otomatis
- Serangkaian diagram yang membantu Anda memahami perilaku penskalaan otomatis tugas streaming.
- Log pipeline
- Log yang dikeluarkan oleh pipeline Anda dan oleh layanan Dataflow.
- Pengambilan sampel data
- Alat yang memungkinkan Anda mengamati data sampel di setiap langkah pipeline.
Langkah berikutnya
- Menggunakan Cloud Monitoring untuk membuat pemberitahuan dan melihat metrik Dataflow, termasuk metrik kustom
- Pelajari lebih lanjut cara mem-build pipeline data siap produksi
- Pelajari cara memecahkan masalah pipeline