Anda dapat melihat diagram pemantauan penskalaan otomatis untuk tugas streaming dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas pipeline dan menyertakan informasi berikut:
- Jumlah instance pekerja yang digunakan oleh tugas Anda pada waktu tertentu
- File log penskalaan otomatis
- Estimasi backlog dari waktu ke waktu
- Pemakaian CPU rata-rata dari waktu ke waktu
Diagram disejajarkan secara vertikal sehingga Anda dapat menghubungkan metrik backlog dan penggunaan CPU dengan peristiwa penskalaan pekerja.
Untuk mengetahui informasi selengkapnya tentang cara Dataflow membuat keputusan penskalaan otomatis, lihat dokumentasi Fitur penyesuaian otomatis. Untuk informasi lebih lanjut tentang pemantauan dan metrik Dataflow, lihat Menggunakan antarmuka pemantauan Dataflow.
Mengakses diagram pemantauan penskalaan otomatis
Anda dapat mengakses antarmuka pemantauan Dataflow dengan menggunakan Google Cloud Console. Untuk mengakses tab metrik Autoscaling, ikuti langkah-langkah berikut:
- Login ke konsol Google Cloud.
- Pilih project Google Cloud Anda.
- Buka menu navigasi.
- Di Analytics, klik Dataflow. Daftar tugas Dataflow akan muncul beserta statusnya.
- Klik tugas yang ingin Anda pantau, lalu klik tab Autoscaling.
Memantau metrik penskalaan otomatis
Layanan Dataflow secara otomatis memilih jumlah instance pekerja yang diperlukan untuk menjalankan tugas penskalaan otomatis. Jumlah instance pekerja dapat berubah dari waktu ke waktu sesuai dengan persyaratan tugas.
Anda dapat melihat metrik penskalaan otomatis di tab Autoscaling pada antarmuka Dataflow. Setiap metrik disusun ke dalam diagram berikut:
Panel tindakan penskalaan otomatis menampilkan status penskalaan otomatis saat ini dan jumlah pekerja.
Penskalaan otomatis
Diagram Penskalaan otomatis menampilkan grafik deret waktu yang berisi jumlah pekerja saat ini, jumlah target pekerja, serta jumlah pekerja minimum dan maksimum.
Untuk melihat log penskalaan otomatis, klik Tampilkan log penskalaan otomatis.
Untuk melihat histori perubahan penskalaan otomatis, klik Histori Lainnya. Tabel dengan informasi tentang histori pekerja pipeline Anda akan ditampilkan. Histori ini menyertakan peristiwa penskalaan otomatis, termasuk apakah jumlah pekerja mencapai jumlah pekerja minimum atau maksimum.
Alasan penskalaan otomatis (khusus Streaming Engine)
Diagram Alasan penskalaan otomatis menunjukkan alasan penskala otomatis meningkatkan skala, mengurangi skala, atau tidak melakukan tindakan selama jangka waktu tertentu.
Untuk melihat deskripsi alasan pada titik tertentu, arahkan kursor ke diagram.
Tabel berikut mencantumkan tindakan penskalaan dan kemungkinan alasan penskalaan.
| Tindakan penskalaan | Alasan | Deskripsi |
|---|---|---|
| Tidak ada perubahan pada penskalaan | Mengumpulkan lebih banyak data untuk membuat keputusan | Penskala otomatis tidak memiliki cukup sinyal untuk meningkatkan atau menurunkan skala. Misalnya, status kumpulan pekerja baru-baru ini berubah; atau metrik pemanfaatan atau backlog berfluktuasi. |
| Tidak ada perubahan pada penskalaan, sinyal stabil | Mencapai batas terkait non-resource | Penskalaan dibatasi oleh batas seperti paralelisme kunci atau pekerja minimum dan maksimum yang dikonfigurasi. |
| Backlog rendah dan pemanfaatan pekerja tinggi | Penskalaan otomatis pipeline telah dikonvergensi ke nilai yang stabil, mengingat traffic dan konfigurasi saat ini. Perubahan penskalaan tidak diperlukan. | |
| Peningkatan skala | Backlog tinggi | Peningkatan skala untuk mengurangi backlog. |
| Pemanfaatan pekerja yang tinggi | Peningkatan skala untuk mencapai target pemakaian CPU. | |
| Mencapai batas yang tidak terkait resource | Jumlah minimum pekerja telah diperbarui, dan jumlah pekerja saat ini di bawah jumlah minimum yang dikonfigurasi. | |
| Perkecil skala | Pemanfaatan pekerja rendah | Penskalaan untuk mencapai penggunaan CPU target. |
| Mencapai batas yang tidak terkait resource | Jumlah maksimum pekerja telah diperbarui, dan jumlah pekerja saat ini melebihi jumlah maksimum yang dikonfigurasi. |
Pemakaian CPU pekerja
Pemakaian CPU adalah jumlah CPU yang digunakan dibagi dengan jumlah CPU yang tersedia untuk diproses. Diagram Rata-rata pemakaian CPU menampilkan pemakaian CPU rata-rata untuk semua pekerja dari waktu ke waktu, petunjuk penggunaan pekerja, dan apakah Dataflow secara aktif menggunakan petunjuk tersebut sebagai target.
Backlog (khusus Streaming Engine)
Diagram Backlog maksimum memberikan informasi tentang elemen yang menunggu untuk diproses. Diagram menunjukkan perkiraan jumlah waktu dalam detik yang diperlukan untuk menggunakan backlog saat ini jika tidak ada data baru yang masuk dan throughput tidak berubah. Perkiraan waktu backlog dihitung dari byte throughput dan backlog dari sumber input yang masih perlu diproses. Metrik ini digunakan oleh fitur penskalaan streaming untuk menentukan kapan harus meningkatkan atau menurunkan skala.
Data diagram ini hanya tersedia untuk tugas yang menggunakan Streaming Engine. Jika tugas streaming Anda tidak menggunakan Streaming Engine, diagram akan kosong.
Rekomendasi
Berikut adalah beberapa perilaku yang mungkin Anda amati di pipeline Anda, dan rekomendasi untuk menyesuaikan parameter penskalaan otomatis:
Pengurangan skala yang berlebihan. Jika target pemakaian CPU ditetapkan terlalu tinggi, Anda mungkin akan melihat pola penurunan skala Dataflow, backlog mulai bertambah, dan Dataflow meningkatkan skala lagi untuk mengompensasi, bukan menggabungkan jumlah pekerja yang stabil. Untuk mengurangi masalah ini, coba tetapkan petunjuk penggunaan pekerja yang lebih rendah. Amati penggunaan CPU pada titik tempat backlog mulai bertambah, dan tetapkan petunjuk penggunaan ke nilai tersebut.
Penskalaan terlalu lambat. Jika peningkatan skala terlalu lambat, peningkatan performa mungkin akan tertinggal dari lonjakan traffic, sehingga menyebabkan periode peningkatan latensi. Coba kurangi petunjuk penggunaan pekerja, agar Dataflow meningkatkan skala lebih cepat. Amati penggunaan CPU pada titik tempat backlog mulai bertambah, dan tetapkan petunjuk pemanfaatan ke nilai tersebut. Pantau latensi dan biaya, karena nilai petunjuk yang lebih rendah dapat meningkatkan total biaya untuk pipeline, jika ada lebih banyak pekerja yang disediakan.
Peningkatan skala yang berlebihan. Jika Anda mengamati peningkatan skala yang berlebihan, yang mengakibatkan peningkatan biaya, pertimbangkan untuk meningkatkan petunjuk penggunaan pekerja. Pantau latensi untuk memastikan latensi tetap dalam batas yang dapat diterima untuk skenario Anda.
Saat Anda bereksperimen dengan nilai petunjuk penggunaan pekerja baru, tunggu beberapa menit hingga pipeline menjadi stabil setelah setiap penyesuaian.
Langkah selanjutnya
- Menyesuaikan Penskalaan Otomatis Horizontal untuk pipeline streaming
- Memecahkan masalah penskalaan otomatis Dataflow