Dasbor pemantauan project Dataflow

Antarmuka pemantauan berbasis web Dataflow mencakup dasbor yang memantau tugas Dataflow Anda di tingkat project. Diagram menampilkan data untuk semua tugas dalam satu project.

Buka dasbor

Dasbor ini dapat membantu Anda melakukan tugas berikut:

  • Mendeteksi dan mengidentifikasi sumber error kuota.
  • Mendeteksi penskalaan otomatis horizontal yang anomali dalam tugas.
  • Identifikasi tugas streaming yang lambat atau macet.

Dasbor menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Untuk menyesuaikan informasi yang ditampilkan dalam diagram, gunakan Metrics Explorer.

Fitur

Dasbor ini mencakup fitur berikut:

  • Pilih tugas yang muncul di dasbor menggunakan ekspresi reguler.
  • Akses halaman detail tugas dari masing-masing diagram.
  • Menyesuaikan widget dan diagram dasbor.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna melihat data grafik, minta administrator untuk memberi Anda peran IAM Monitoring Viewer (roles/monitoring.viewer). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin monitoring.timeSeries.list , yang diperlukan untuk melihat data grafik.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mengakses dasbor

Untuk mengakses dasbor, ikuti langkah-langkah berikut:

  1. Login ke konsol Google Cloud .
  2. Pilih project Google Cloud Anda.
  3. Buka menu navigasi.
  4. Di Analytics, klik Dataflow.

  5. Di menu navigasi Dataflow, klik Monitoring.

    Buka dasbor

Metrik dasbor

Secara default, diagram deret waktu berikut muncul di dasbor. Untuk mengetahui informasi selengkapnya tentang metrik yang ditampilkan, lihat Metrik tugas.

Diagram berikut berlaku untuk tugas batch dan streaming:

  • Menjalankan tugas. Menampilkan jumlah tugas aktif yang berjalan dalam project. Diagram ini menunjukkan aktivitas Dataflow secara keseluruhan dalam project dari waktu ke waktu.
  • Pekerja per pekerjaan (25 teratas). Menampilkan jumlah pekerja saat ini untuk 25 tugas yang paling diparalelkan. Diagram ini berguna untuk memahami alokasi resource dan mengidentifikasi tugas dengan workload tinggi. Anda juga dapat melihat apakah tugas memiliki perilaku penskalaan yang tidak terduga.
  • Jumlah total vCPU. Menampilkan jumlah total CPU virtual (vCPU) yang digunakan di semua tugas dalam project. Jumlah total vCPU memengaruhi kuota Compute Engine.
  • vCPU per tugas (25 Teratas). Tampilkan 25 tugas yang menggunakan resource vCPU paling banyak. Diagram ini menandai tugas yang berpotensi mahal.
  • Jumlah total vCPU. Menampilkan gabungan vCPU yang digunakan di seluruh project. Diagram ini memberikan gambaran umum tentang resource Compute Engine yang digunakan tugas Anda.
  • Error kuota terlampaui. Melaporkan instance apa pun yang telah mencapai kuota Dataflow atau kuota Compute Engine. Diagram ini dapat membantu Anda menemukan potensi kegagalan tugas atau penurunan kecepatan penskalaan.

Diagram berikut berlaku untuk tugas streaming:

  • Latensi sistem rata-rata. Menampilkan rata-rata latensi sistem, yang mencerminkan penundaan umum yang dialami data saat melewati tahap sumber. Diagram ini dapat menunjukkan potensi hambatan input. Gunakan diagram ini untuk mengidentifikasi tugas streaming yang memiliki penundaan yang tidak biasa antara saat data muncul di sumber dan saat data ditulis ke semua tujuan.
  • 25 tugas teratas menurut jeda sistem. Menampilkan 25 pipeline streaming dengan jeda sistem tertinggi, yaitu jumlah waktu terlama yang dihabiskan data untuk diproses atau menunggu pemrosesan. Diagram ini dapat menunjukkan potensi hambatan pemrosesan real-time.
  • 25 tugas teratas berdasarkan keterlambatan watermark data per tahap (keaktualan). Menampilkan 25 tugas streaming dengan jeda watermark terbesar. Keterlambatan watermark untuk suatu tahap adalah perbedaan antara waktu peristiwa terbaru yang diterima oleh tahap dan watermark. Diagram ini dapat menunjukkan potensi hambatan pada perincian per tahap. Gunakan diagram ini untuk menemukan tugas streaming yang mungkin lambat atau macet. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah tugas yang lambat atau macet.
  • 25 tugas teratas berdasarkan penggunaan SECU. Menampilkan 25 tugas streaming yang menggunakan Unit Komputasi Streaming Engine paling banyak. Gunakan diagram ini untuk mengukur biaya dan intensitas tugas streaming yang menggunakan penagihan berbasis resource.
  • 25 tugas teratas menurut latensi pemrosesan pengguna (per tahap). Menampilkan 25 tugas streaming yang kode yang ditentukan pengguna di tahap pemrosesan memerlukan waktu terlama. Gunakan diagram ini untuk menemukan potensi hambatan performa dalam logika aplikasi Anda.
  • Byte backlog maksimum (25 teratas). Menampilkan 25 tugas streaming dengan volume data yang belum diproses terbesar yang menunggu di tahap mana pun. Diagram ini dapat menunjukkan kemungkinan kelebihan beban input atau pemrosesan yang lambat.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan diagram, lihat Menjelajahi data dalam diagram.

Menyesuaikan dasbor

Anda dapat menyesuaikan konten dasbor dan informasi yang ditampilkan dalam diagram. Saat Anda mengedit dasbor, dasbor baru yang disesuaikan akan dibuat.

Dasbor ini menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Gunakan alat Cloud Monitoring untuk menyesuaikan diagram.

  1. Buka dasbor, lalu klik Sesuaikan Dasbor.
  2. Ubah dasbor Anda.
  3. Klik Simpan, lalu klik Lihat dasbor yang disesuaikan.

Setelah membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, di menu Dasbor, pilih Standar.

Untuk contoh menambahkan diagram metrik kustom ke dasbor, lihat artikel Menyesuaikan dasbor pemantauan Dataflow.

Pemecahan masalah

Bagian ini memberikan petunjuk untuk memecahkan masalah umum

Data tidak tersedia

Saat Anda membuka dasbor, satu atau beberapa diagram akan menampilkan pesan berikut:

No data is available for the selected time frame.

Pesan ini muncul saat jangka waktu yang tercakup dalam diagram tidak memiliki data. Untuk mengatasi masalah ini, ubah atau perluas rentang waktu.

Untuk mengubah rentang waktu yang ditampilkan, pada diagram, klik Jelajahi data, lalu gunakan pemilih rentang waktu.

Tidak dapat memulihkan widget yang dihapus

Saat Anda menghapus widget dari dasbor, Anda membuat dasbor yang disesuaikan. Setelah membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, di menu Dasbor, pilih Standar.

Tidak dapat melihat diagram

Untuk melihat data grafik, Anda memerlukan izin monitoring.timeSeries.list. Untuk mengetahui informasi selengkapnya, lihat Peran yang diperlukan.

Langkah berikutnya