Anda dapat melihat diagram pemantauan penskalaan otomatis untuk tugas streaming dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas pipeline dan mencakup informasi berikut:
- Jumlah instance pekerja yang digunakan oleh tugas Anda pada waktu tertentu
- File log penskalaan otomatis
- Estimasi backlog dari waktu ke waktu
- Penggunaan CPU rata-rata dari waktu ke waktu
Diagram disejajarkan secara vertikal sehingga Anda dapat menghubungkan metrik backlog dan pemanfaatan CPU dengan peristiwa penskalaan pekerja.
Untuk mengetahui informasi selengkapnya tentang cara Dataflow membuat keputusan penskalaan otomatis, lihat dokumentasi Fitur penyetelan otomatis. Untuk mengetahui informasi selengkapnya tentang pemantauan dan metrik Dataflow, lihat Menggunakan antarmuka pemantauan Dataflow.
Mengakses diagram pemantauan penskalaan otomatis
Anda dapat mengakses antarmuka pemantauan Dataflow menggunakan Google Cloud console. Untuk mengakses tab metrik Penskalaan Otomatis, ikuti langkah-langkah berikut:
- Login ke konsol Google Cloud .
- Pilih project Google Cloud Anda.
- Buka menu navigasi.
- Di Analytics, klik Dataflow. Daftar tugas Dataflow akan muncul beserta statusnya.
- Klik tugas yang ingin Anda pantau, lalu klik tab Penskalaan otomatis.
Memantau metrik penskalaan otomatis
Layanan Dataflow secara otomatis memilih jumlah instance pekerja yang diperlukan untuk menjalankan tugas penskalaan otomatis Anda. Jumlah instance pekerja dapat berubah dari waktu ke waktu sesuai dengan persyaratan tugas.
Anda dapat melihat metrik penskalaan otomatis di tab Penskalaan otomatis di antarmuka Dataflow. Setiap metrik disusun dalam diagram berikut:
Panel tindakan penskalaan otomatis menampilkan status penskalaan otomatis dan jumlah pekerja saat ini.
Penskalaan otomatis
Diagram Penskalaan Otomatis menampilkan grafik deret waktu dari jumlah pekerja saat ini, jumlah pekerja target, dan jumlah pekerja minimum dan maksimum.
Untuk melihat log penskalaan otomatis, klik Show autoscaling logs.
Untuk melihat histori perubahan penskalaan otomatis, klik Histori lainnya. Tabel dengan informasi tentang histori pekerja pipeline Anda akan ditampilkan. Histori mencakup peristiwa penskalaan otomatis, termasuk apakah jumlah pekerja mencapai jumlah pekerja minimum atau maksimum.
Alasan penskalaan otomatis (khusus Streaming Engine)
Diagram Alasan penskalaan otomatis menunjukkan alasan autoscaler melakukan penskalaan, penurunan skala, atau tidak melakukan tindakan apa pun selama jangka waktu tertentu.
Untuk melihat deskripsi alasan di titik tertentu, tahan kursor di atas diagram.
Tabel berikut mencantumkan tindakan penskalaan dan kemungkinan alasan penskalaan.
| Tindakan penskalaan | Alasan | Deskripsi |
|---|---|---|
| Tidak ada perubahan dalam penskalaan | Mengumpulkan lebih banyak data untuk pengambilan keputusan | Autoscaler tidak memiliki cukup sinyal untuk meningkatkan atau menurunkan skala. Misalnya, status kumpulan pekerja baru-baru ini berubah; atau metrik backlog atau pemanfaatan berfluktuasi. |
| Tidak ada perubahan dalam penskalaan, sinyal stabil | Mencapai batas yang tidak terkait dengan resource | Penskalaan dibatasi oleh batas seperti paralelisme utama atau pekerja minimum dan maksimum yang dikonfigurasi. |
| Backlog rendah dan pemanfaatan pekerja tinggi | Penskalaan otomatis pipeline telah menyatu ke nilai yang stabil berdasarkan konfigurasi dan traffic saat ini. Tidak ada perubahan penskalaan yang diperlukan. | |
| Peningkatan skala | Tunggakan tinggi | Meningkatkan skala untuk mengurangi backlog. |
| Penggunaan pekerja yang tinggi | Melakukan penskalaan untuk mencapai target pemakaian CPU. | |
| Mencapai batas yang tidak terkait dengan resource | Jumlah minimum pekerja telah diperbarui, dan jumlah pekerja saat ini di bawah minimum yang dikonfigurasi. | |
| Perkecil skala | Penggunaan pekerja rendah | Menurunkan skala untuk mencapai target pemakaian CPU. |
| Mencapai batas yang tidak terkait dengan resource | Jumlah maksimum pekerja telah diperbarui, dan jumlah pekerja saat ini melebihi jumlah maksimum yang dikonfigurasi. |
Penggunaan CPU pekerja
Pemanfaatan CPU adalah jumlah CPU yang digunakan dibagi dengan jumlah CPU yang tersedia untuk pemrosesan. Diagram Penggunaan CPU rata-rata menunjukkan penggunaan CPU rata-rata untuk semua pekerja dari waktu ke waktu, petunjuk penggunaan pekerja, dan apakah Dataflow secara aktif menggunakan petunjuk tersebut sebagai target.
Backlog (Khusus Streaming Engine)
Diagram Backlog maksimum memberikan informasi tentang elemen yang menunggu untuk diproses. Diagram menunjukkan perkiraan jumlah waktu dalam detik yang diperlukan untuk menggunakan backlog saat ini jika tidak ada data baru yang masuk dan throughput tidak berubah. Perkiraan waktu backlog dihitung dari throughput dan byte backlog dari sumber input yang masih perlu diproses. Metrik ini digunakan oleh fitur penskalaan otomatis streaming untuk menentukan kapan harus meningkatkan atau menurunkan skala.
Data untuk diagram ini hanya tersedia untuk tugas yang menggunakan Streaming Engine. Jika tugas streaming Anda tidak menggunakan Streaming Engine, diagram akan kosong.
Rekomendasi
Berikut beberapa perilaku yang mungkin Anda amati di pipeline, dan rekomendasi tentang cara menyesuaikan penskalaan otomatis:
Pengecilan skala yang berlebihan. Jika target pemakaian CPU ditetapkan terlalu tinggi, Anda mungkin melihat pola saat Dataflow menurunkan skala, backlog mulai bertambah, dan Dataflow menaikkan skala lagi untuk mengimbanginya, bukan menyatu pada jumlah pekerja yang stabil. Untuk mengurangi masalah ini, coba tetapkan petunjuk pemanfaatan pekerja yang lebih rendah. Amati pemakaian CPU pada saat backlog mulai bertambah, dan tetapkan petunjuk pemakaian ke nilai tersebut.
Peningkatan kualitas terlalu lambat. Jika penskalaan terlalu lambat, penskalaan mungkin tertinggal dari lonjakan traffic, sehingga menyebabkan periode peningkatan latensi. Coba kurangi petunjuk pemanfaatan pekerja, sehingga Dataflow dapat melakukan penskalaan lebih cepat. Amati penggunaan CPU pada titik saat backlog mulai bertambah, dan tetapkan petunjuk penggunaan ke nilai tersebut. Pantau latensi dan biaya, karena nilai petunjuk yang lebih rendah dapat meningkatkan total biaya pipeline, jika lebih banyak pekerja yang disediakan.
Peningkatan skala berlebihan. Jika Anda mengamati penskalaan berlebihan, yang mengakibatkan peningkatan biaya, pertimbangkan untuk meningkatkan petunjuk pemakaian pekerja. Pantau latensi untuk memastikan latensi tetap berada dalam batas yang dapat diterima untuk skenario Anda.
Untuk mengetahui informasi selengkapnya, lihat Menetapkan petunjuk pemanfaatan pekerja. Saat Anda bereksperimen dengan nilai petunjuk pemanfaatan pekerja baru, tunggu beberapa menit hingga pipeline stabil setelah setiap penyesuaian.
Langkah berikutnya
- Menyesuaikan Penskalaan Otomatis Horizontal untuk pipeline streaming
- Memecahkan masalah penskalaan otomatis Dataflow