Halaman ini menjelaskan cara menggunakan tab Detail eksekusi di antarmuka pemantauan Dataflow.
Ringkasan
Saat menjalankan tugas, Dataflow akan mengonversi langkah pipeline menjadi tahap. Sementara setiap langkah mewakili transformasi individual, tahap mewakili satu unit pekerjaan yang dilakukan oleh Dataflow. Untuk mengoptimalkan pipeline, Dataflow dapat menggabungkan beberapa langkah menjadi satu tahap.
Tab Execution details di antarmuka pemantauan Dataflow menampilkan informasi tentang tahap tugas. Anda dapat menggunakan tab Execution details untuk memecahkan masalah performa, seperti:
- Tahap lambat yang menyebabkan bottleneck performa
- Tahap yang macet dan tidak maju
- VM pekerja yang tertinggal dari pekerja lain
Melihat detail eksekusi
Untuk melihat detail eksekusi tugas, lakukan langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Dataflow > Jobs.
Pilih tugas.
Klik tab Execution details.
Pilih salah satu tabel virtual berikut:
- Progres tahap
- Alur kerja tahap
- Progres pekerja (khusus tugas batch)
Bagian berikut menjelaskan setiap tampilan ini.
Tampilan progres stage
Tampilan Progres tahap memungkinkan Anda mengamati progres keseluruhan tugas dan membandingkan progres relatif antar-tahap. Tata letak tampilan Progres tahap berbeda antara tugas batch dan tugas streaming.
Progres tahap untuk tugas batch
Untuk tugas batch, tampilan Progres tahap menampilkan tahap tugas sesuai waktu mulainya. Untuk setiap tahap, elemen berikut akan ditampilkan:
- Batang yang menampilkan waktu berhenti dan waktu berakhir.
- Diagram garis yang menunjukkan progres tahap dari waktu ke waktu sebagai persentase dari total pekerjaan tahap.
- Total waktu yang dihabiskan di tahap tersebut.
Untuk memfilter tahap yang ditampilkan, klik Filter stages. Untuk melihat jalur kritis, alihkan Jalur kritis. Jalur kritis adalah urutan tahap yang berkontribusi pada keseluruhan runtime tugas. Misalnya, laporan ini mengecualikan cabang yang selesai lebih awal daripada keseluruhan tugas, dan input yang tidak menunda pemrosesan downstream.
Panel Info Tahap menampilkan informasi yang lebih mendetail tentang suatu tahap. Untuk melihat detail tahap, klik status progres untuk tahap tersebut. Panel Info Stage menampilkan informasi berikut tentang suatu tahap:
- Status
- Progres dalam persentase
- Waktu mulai dan berakhir
- Langkah pipeline yang dicakup oleh tahap ini
- Langkah paling lambat berdasarkan waktu proses
- Detail tentang pelanggan yang tertinggal
Jika panel tidak terlihat, klik Alihkan panel "Info panggung".
Kemajuan stage untuk tugas streaming
Untuk tugas streaming, tampilan Progres tahap memiliki dua visualisasi keaktualan data. Keaktualan data adalah perbedaan antara stempel waktu elemen data dan waktu saat elemen tersebut diproses. Nilai yang lebih besar berarti pipeline memerlukan waktu lebih lama untuk memproses data input.
Visualisasi pertama menunjukkan keaktualan data per tahap sebagai grafik garis. Untuk melihat keaktualan data pada waktu tertentu, tahan kursor di atas grafik. Untuk memilih rentang waktu, gunakan pemilih waktu atau klik grafik dan tarik untuk memilih rentang. Untuk memfilter tahap yang ditampilkan, klik Filter stages.
Grafik juga menyoroti anomali dalam data:
- Potensi lambat: Keaktualan data melebihi persentil ke-95 untuk periode waktu yang dipilih.
- Potensi macet: Keaktualan data melebihi persentil ke-99 untuk periode waktu yang dipilih.
Visualisasi kedua menampilkan tahap sebagai serangkaian batang. Tahapan diatur dalam urutan topologi. Tahap tanpa turunan ditampilkan terlebih dahulu, diikuti dengan turunannya. Panjang batang menunjukkan keaktualan data. Untuk melihat nilai keaktualan data pada titik tertentu, klik grafik. Kolom akan diperbarui untuk menampilkan keaktualan data pada waktu yang dipilih.
Gambar berikut menunjukkan tugas dengan empat tahap. Pada stempel waktu yang dipilih, keaktualan data berkisar dari 9 detik hingga 13 detik.
Gambar berikutnya menampilkan tugas yang sama dengan stempel waktu yang berbeda. Pada tahap ini, keaktualan data untuk semua tahap melebihi 4 menit, yang menandakan bahwa pipeline mungkin macet.
Panel Info Tahap menampilkan informasi yang lebih mendetail tentang suatu tahap. Untuk melihat detail tahap, klik status progres untuk tahap tersebut. Panel Info Stage menampilkan informasi berikut tentang suatu tahap:
- Status
- Lag sistem: Waktu maksimum item data menunggu pemrosesan
- Watermark data: Perkiraan waktu penyelesaian input data untuk tahap ini
- Detail tentang pelanggan yang tertinggal
- Langkah pipeline yang dicakup oleh tahap ini
Jika panel tidak terlihat, klik Alihkan panel "Info panggung".
Alur kerja stage
Tampilan Alur kerja tahap menampilkan tahap tugas sebagai grafik alur kerja. Untuk melihat detail tahap, klik kotak untuk tahap tersebut.
Untuk tugas batch, klik Jalur kritis untuk hanya melihat tahap yang secara langsung berkontribusi pada keseluruhan runtime tugas.
Kemajuan pekerja
Untuk tugas batch, tampilan Kemajuan pekerja menampilkan pekerja untuk tahap tertentu. Tampilan ini tidak tersedia untuk tugas streaming. Untuk mengakses tampilan ini, pilih Progres pekerja dan pilih tahap di Filter pekerja menurut tahap. Atau, Anda dapat mengaktifkan tampilan ini dari tampilan Progres tahap sebagai berikut:
- Di tampilan Progres tahap, identifikasi tahap yang ingin Anda lihat.
- Tahan kursor di atas batang untuk tahap tersebut.
- Di kartu Stage, klik View workers. Tampilan Progres pekerja ditampilkan dengan tahap yang telah dipilih sebelumnya.
Setiap batang dipetakan ke item pekerjaan yang dijadwalkan untuk pekerja. Garis percik yang melacak penggunaan CPU pada pekerja terletak di setiap pekerja, sehingga memudahkan untuk menemukan masalah penggunaan yang kurang.
Langkah berikutnya
- Pelajari lebih lanjut cara memecahkan masalah tugas yang lambat atau macet.
- Baca tentang berbagai komponen antarmuka pengguna pemantauan berbasis web Dataflow.