Memantau performa pipeline menggunakan Cloud Profiler

Cloud Profiler adalah profiler statistik dengan overhead rendah yang terus mengumpulkan informasi penggunaan CPU dan alokasi memori dari aplikasi produksi Anda. Untuk mengetahui detail selengkapnya, lihat Konsep pembuatan profil. Untuk memecahkan masalah atau memantau performa pipeline, gunakan integrasi Dataflow dengan Cloud Profiler untuk mengidentifikasi bagian kode pipeline yang paling banyak menggunakan resource.

Untuk tips pemecahan masalah dan strategi proses debug guna mem-build atau menjalankan pipeline Dataflow, lihat Memecahkan masalah dan men-debug pipeline.

Sebelum memulai

Pahami konsep pembuatan profil dan kenali antarmuka Profiler. Untuk informasi tentang cara memulai antarmuka Profiler, lihat Memilih profil yang akan dianalisis.

Cloud Profiler API harus diaktifkan untuk project Anda sebelum tugas dimulai. Fitur ini diaktifkan secara otomatis saat pertama kali Anda membuka halaman Profiler. Atau, Anda dapat mengaktifkan Cloud Profiler API menggunakan alat command line gcloud Google Cloud CLI atau konsol Google Cloud.

Untuk menggunakan Cloud Profiler, project Anda harus memiliki kuota yang cukup. Selain itu, akun layanan pekerja untuk tugas Dataflow harus memiliki izin yang sesuai untuk Profiler. Misalnya, untuk membuat profil, akun layanan pekerja harus memiliki izin cloudprofiler.profiles.create, yang disertakan dalam peran IAM Agent Cloud Profiler (roles/cloudprofiler.agent). Untuk mengetahui informasi selengkapnya, lihat Kontrol akses dengan IAM.

Mengaktifkan Cloud Profiler untuk pipeline Dataflow

Cloud Profiler tersedia untuk pipeline Dataflow yang ditulis dalam Apache Beam SDK untuk Java dan Python, versi 2.33.0 atau yang lebih baru. Pipeline Python harus menggunakan Dataflow Runner v2. Cloud Profiler dapat diaktifkan pada waktu mulai pipeline. Overhead CPU dan memori yang diamortisasi diperkirakan kurang dari 1% untuk pipeline Anda.

Java

Untuk mengaktifkan pembuatan profil CPU, mulai pipeline dengan opsi berikut.

--dataflowServiceOptions=enable_google_cloud_profiler

Untuk mengaktifkan pembuatan profil heap, mulai pipeline dengan opsi berikut. Pembuatan profil heap memerlukan Java 11 atau yang lebih tinggi.

--dataflowServiceOptions=enable_google_cloud_profiler

--dataflowServiceOptions=enable_google_cloud_heap_sampling

Python

Untuk menggunakan Cloud Profiler, pipeline Python Anda harus berjalan dengan Runner v2 Dataflow.

Untuk mengaktifkan pembuatan profil CPU, mulai pipeline dengan opsi berikut. Profil heap belum didukung untuk Python.

--dataflow_service_options=enable_google_cloud_profiler

Go

Untuk mengaktifkan pembuatan profil CPU dan heap, mulai pipeline dengan opsi berikut.

--dataflow_service_options=enable_google_cloud_profiler

Jika Anda men-deploy pipeline dari template Dataflow dan ingin mengaktifkan Cloud Profiler, tentukan tanda enable_google_cloud_profiler dan enable_google_cloud_heap_sampling sebagai eksperimen tambahan.

Konsol

Jika menggunakan template yang disediakan Google, Anda dapat menentukan flag di halaman Buat tugas dari template Dataflow di kolom Eksperimen tambahan.

gcloud

Jika Anda menggunakan Google Cloud CLI untuk menjalankan template, baik gcloud dataflow jobs run maupun gcloud dataflow flex-template run, bergantung pada jenis template, gunakan opsi --additional-experiments untuk menentukan flag.

API

Jika Anda menggunakan REST API untuk menjalankan template, bergantung pada jenis template, tentukan flag menggunakan kolom additionalExperiments dari lingkungan runtime, baik RuntimeEnvironment maupun FlexTemplateRuntimeEnvironment.

Melihat data pembuatan profil

Jika Cloud Profiler diaktifkan, link ke halaman Profiler akan ditampilkan di halaman tugas.

Halaman Tugas dengan link ke halaman Profiler.

Di halaman Profiler, Anda juga dapat menemukan data pembuatan profil untuk pipeline Dataflow. Layanan adalah nama tugas Anda dan Versi adalah ID tugas Anda.

Menampilkan nilai Layanan dan Versi untuk membuat profil tugas Dataflow.

Menggunakan Cloud Profiler

Halaman Profiler berisi grafik api yang menampilkan statistik untuk setiap frame yang berjalan di pekerja. Pada arah horizontal, Anda dapat melihat berapa lama waktu yang diperlukan setiap frame untuk dieksekusi dalam hal waktu CPU. Dalam arah vertikal, Anda dapat melihat stack trace dan kode yang berjalan secara paralel. Pelacakan tumpukan didominasi oleh kode infrastruktur runner. Untuk tujuan proses debug, kita biasanya tertarik dengan eksekusi kode pengguna, yang biasanya ditemukan di dekat ujung bawah grafik. Kode pengguna dapat diidentifikasi dengan mencari frame penanda, yang mewakili kode runner yang diketahui hanya memanggil kode pengguna. Dalam kasus runner Beam ParDo, lapisan adaptor dinamis dibuat untuk memanggil tanda tangan metode DoFn yang disediakan pengguna. Lapisan ini dapat diidentifikasi sebagai frame dengan akhiran invokeProcessElement. Gambar berikut menunjukkan demonstrasi menemukan bingkai penanda.

Contoh grafik flame Profiler yang menampilkan frame penanda.

Setelah mengklik frame penanda yang menarik, diagram api akan berfokus pada pelacakan tumpukan tersebut, sehingga memberikan gambaran yang baik tentang kode pengguna yang berjalan lama. Operasi yang paling lambat dapat menunjukkan tempat bottleneck terbentuk dan memberikan peluang untuk pengoptimalan. Dalam contoh berikut, Anda dapat melihat bahwa Global Windowing sedang digunakan dengan ByteArrayCoder. Dalam hal ini, coder mungkin merupakan area yang baik untuk pengoptimalan karena menghabiskan waktu CPU yang signifikan dibandingkan dengan operasi ArrayList dan HashMap.

Contoh pelacakan tumpukan frame penanda yang menunjukkan operasi berjalan paling lambat.

Memecahkan masalah Cloud Profiler

Jika Anda mengaktifkan Cloud Profiler dan pipeline tidak menghasilkan data pembuatan profil, salah satu kondisi berikut mungkin menjadi penyebabnya.

  • Pipeline Anda menggunakan versi Apache Beam SDK yang lebih lama. Untuk menggunakan Cloud Profiler, Anda harus menggunakan Apache Beam SDK versi 2.33.0 atau yang lebih baru. Anda dapat melihat versi Apache Beam SDK pipeline di halaman tugas. Jika tugas Anda dibuat dari template Dataflow, template tersebut harus menggunakan versi SDK yang didukung.

  • Kuota Cloud Profiler project Anda hampir habis. Anda dapat melihat penggunaan kuota dari halaman kuota project. Error seperti Failed to collect and upload profile whose profile type is WALL dapat terjadi jika kuota Cloud Profiler terlampaui. Layanan Cloud Profiler menolak data pembuatan profil jika Anda telah mencapai kuota. Untuk mengetahui informasi selengkapnya tentang kuota Cloud Profiler, lihat Kuota dan Batas.

  • Tugas Anda tidak berjalan cukup lama untuk menghasilkan data bagi Cloud Profiler. Tugas yang berjalan dalam durasi singkat, seperti kurang dari lima menit, mungkin tidak memberikan cukup data pembuatan profil bagi Cloud Profiler untuk menghasilkan hasil.

Agen Cloud Profiler diinstal selama startup pekerja Dataflow. Pesan log yang dihasilkan oleh Cloud Profiler tersedia dalam jenis log dataflow.googleapis.com/worker-startup.

Halaman yang menampilkan log Cloud Profiler dengan menu terbuka yang menyoroti jalur navigasi: dataflow.googleapis.com/worker-startup.

Terkadang, data pembuatan profil ada, tetapi Cloud Profiler tidak menampilkan output apa pun. Profiler menampilkan pesan yang mirip dengan, There were profiles collected for the specified time range, but none match the current filters.

Untuk mengatasi masalah ini, coba langkah-langkah pemecahan masalah berikut.

  • Pastikan rentang waktu dan waktu berakhir di Profiler mencakup waktu berlalunya tugas.

  • Pastikan tugas yang benar dipilih di Profiler. Layanan adalah nama tugas Anda.

  • Pastikan opsi pipeline job_name memiliki nilai yang sama dengan nama tugas di halaman tugas Dataflow.

  • Jika Anda menentukan argumen nama layanan saat memuat agen Profiler, pastikan nama layanan dikonfigurasi dengan benar.