Detail eksekusi

Halaman ini menjelaskan cara menggunakan tab Detail eksekusi di antarmuka pemantauan Dataflow.

Ringkasan

Saat menjalankan tugas, Dataflow akan mengonversi langkah-langkah pipeline menjadi tahapan. Setiap langkah mewakili transformasi individual, sedangkan tahap mewakili satu unit kerja yang dilakukan oleh Dataflow. Untuk mengoptimalkan pipeline, Dataflow dapat menggabungkan beberapa langkah menjadi satu tahap.

Tab Detail eksekusi di antarmuka pemantauan Dataflow menampilkan informasi tentang tahap-tahap tugas. Anda dapat menggunakan tab Detail eksekusi untuk memecahkan masalah performa, seperti:

  • Tahap lambat yang menyebabkan bottleneck performa
  • Tahapan yang macet dan tidak berlanjut
  • VM pekerja yang tertinggal dari pekerja lain

Melihat detail eksekusi

Untuk melihat detail eksekusi tugas, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataflow > Jobs.

    Buka Tugas

  2. Pilih lowongan.

  3. Klik tab Detail eksekusi.

  4. Pilih salah satu tabel virtual berikut:

    • Progres tahap
    • Alur kerja penahapan
    • Progres pekerja (khusus tugas batch)

Bagian berikut menjelaskan setiap tampilan ini.

Tampilan progres tahap

Tampilan Progres tahap memungkinkan Anda mengamati progres keseluruhan tugas dan membandingkan progres relatif antar-tahap. Tata letak tampilan Progres tahap berbeda antara tugas batch dan tugas streaming.

Progres tahap untuk tugas batch

Untuk tugas batch, tampilan Progres tahap menampilkan tahap tugas dalam urutan waktu mulainya. Untuk setiap tahap, elemen berikut ditampilkan:

  • Batang yang menampilkan waktu berhenti dan waktu berakhir.
  • Diagram garis yang menunjukkan progres tahap dari waktu ke waktu sebagai persentase dari total pekerjaan tahap.
  • Total waktu yang dihabiskan dalam tahap.

Contoh tampilan progres tahap untuk tugas batch.

Untuk memfilter tahap yang ditampilkan, klik Filter tahap. Untuk melihat jalur kritis, aktifkan/nonaktifkan Jalur kritis. Jalur kritis adalah urutan tahapan yang berkontribusi pada keseluruhan runtime tugas. Misalnya, ini mengecualikan cabang yang selesai lebih awal dari tugas keseluruhan, dan input yang tidak menunda pemrosesan hilir.

Panel Info Stage menampilkan informasi yang lebih mendetail tentang stage. Untuk melihat detail tahap, klik status progres untuk tahap tersebut. Panel Stage Info menampilkan informasi berikut tentang suatu tahap:

  • Status
  • Progres sebagai persentase
  • Waktu mulai dan berakhir
  • Langkah-langkah pipeline yang mencakup tahap ini
  • Langkah paling lambat berdasarkan waktu proses
  • Detail tentang orang yang tertinggal

Jika panel tidak terlihat, klik Alihkan panel "Info pementasan".

Progres tahap untuk tugas streaming

Untuk tugas streaming, tampilan Progres tahap memiliki dua visualisasi keaktualan data. Keaktualan data adalah perbedaan antara stempel waktu elemen data dan waktu saat elemen diproses. Nilai yang lebih besar berarti pipeline memerlukan waktu lebih lama untuk memproses data input.

Visualisasi pertama menampilkan keaktualan data per tahap sebagai grafik garis. Untuk melihat keaktualan data pada waktu tertentu, tahan kursor di atas grafik. Untuk memilih rentang waktu, gunakan pemilih waktu atau klik grafik dan tarik untuk memilih rentang. Untuk memfilter tahap yang ditampilkan, klik Filter tahap.

Grafik ini juga menandai anomali dalam data:

  • Potensi kelambatan: Keaktualan data melebihi persentil ke-95 untuk jangka waktu yang dipilih.
  • Potensi macet: Keaktualan data melebihi persentil ke-99 untuk jangka waktu yang dipilih.

Visualisasi kedua menampilkan tahap sebagai serangkaian batang. Tahapan diatur dalam urutan topologi. Tahapan tanpa turunan ditampilkan terlebih dahulu, diikuti dengan turunannya. Panjang batang menunjukkan keaktualan data. Untuk melihat nilai keaktualan data pada titik tertentu, klik grafik. Batang diperbarui untuk menampilkan keaktualan data pada waktu yang dipilih.

Gambar berikut menunjukkan tugas dengan empat tahap. Pada stempel waktu yang dipilih, keaktualan data berkisar dari 9 detik hingga 13 detik.

Tampilan progres tahap untuk tugas streaming, yang menunjukkan keaktualan data antara 8 dan 13 detik.

Gambar berikutnya menunjukkan tugas yang sama dengan stempel waktu yang berbeda dipilih. Pada titik ini, keaktualan data untuk semua tahap melebihi 4 menit, yang menandakan bahwa pipeline mungkin macet.

Tampilan progres tahap untuk tugas streaming, yang menunjukkan keaktualan data melebihi 4 menit.

Panel Info Stage menampilkan informasi yang lebih mendetail tentang stage. Untuk melihat detail tahap, klik status progres untuk tahap tersebut. Panel Stage Info menampilkan informasi berikut tentang suatu tahap:

Jika panel tidak terlihat, klik Alihkan panel "Info pementasan".

Alur kerja stage

Tampilan Stage workflow menampilkan tahap tugas sebagai grafik alur kerja. Untuk melihat detail tahap, klik kotak untuk tahap tersebut.

Tampilan alur kerja tahap, yang menampilkan hierarki tahap eksekusi tugas.

Untuk tugas batch, klik Jalur kritis untuk melihat hanya tahap yang secara langsung berkontribusi pada keseluruhan runtime tugas.

Kemajuan pekerja

Untuk tugas batch, tampilan Progres pekerja menampilkan pekerja untuk tahap tertentu. Tampilan ini tidak tersedia untuk tugas streaming. Untuk mengakses tampilan ini, pilih Progres pekerja, lalu pilih tahap di Filter pekerja menurut tahap. Atau, Anda dapat mengaktifkan tampilan ini dari tampilan Progres tahap sebagai berikut:

  1. Di tampilan Progres tahap, identifikasi tahap yang ingin Anda lihat.
  2. Tahan kursor di batang untuk tahap tersebut.
  3. Di kartu Tahap, klik Lihat pekerja. Tampilan Worker progress ditampilkan dengan tahap yang telah dipilih sebelumnya.

Setiap batang dipetakan ke item kerja yang dijadwalkan untuk pekerja. Sparkline yang melacak pemanfaatan CPU pada pekerja terletak di setiap pekerja, sehingga memudahkan untuk melihat masalah kurangnya pemanfaatan.

Tampilan progres pekerja. Worker memiliki batang dan sparkline yang sesuai dengan penjadwalan item kerja dan penggunaan CPU.

Langkah berikutnya