Cloud Monitoring

Cloud Monitoring memberikan visibilitas pada performa, waktu beroperasi, dan respons keseluruhan untuk aplikasi yang didukung oleh teknologi cloud. Google Cloud Observability mengumpulkan dan menyerap metrik, peristiwa, dan metadata dari layanan Dataproc Metastore untuk menghasilkan insight menggunakan dasbor dan diagram.

Mengakses metrik layanan di Monitoring

Metrik resource layanan Dataproc Metastore diaktifkan secara otomatis di layanan Dataproc Metastore. Gunakan Monitoring untuk melihat metrik ini.

Anda dapat mengakses Monitoring dari Google Cloud console atau menggunakan Monitoring API.

Konsol

  1. Di Google Cloud konsol, buka halaman Cloud Monitoring > Metrics explorer:

    Buka halaman Metrics Explorer

  2. Dari daftar drop-down "Temukan jenis resource dan metrik", pilih resource Dataproc Metastore Service.

  3. Klik lagi di kotak input, lalu pilih metrik dari daftar drop-down. Mengarahkan kursor ke nama metrik akan menampilkan informasi tentang metrik tersebut.

Anda dapat memilih filter, mengelompokkan menurut label metrik, melakukan penggabungan, dan memilih opsi tampilan diagram.

REST

Anda dapat menggunakan API timeSeries.list Monitoring untuk merekam dan mencantumkan metrik yang ditentukan oleh ekspresi filter. Gunakan template Coba API ini di halaman API untuk mengirim permintaan API dan menampilkan respons.

Metrik layanan Dataproc Metastore di Monitoring

Metrik dari Dataproc Metastore. Tahap peluncuran metrik ini: BETA GA

String "jenis metrik" dalam tabel ini harus diawali dengan metastore.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel. Saat membuat kueri label, gunakan awalan metric.labels.; misalnya, metric.labels.LABEL="VALUE".

Jenis metrik Tahap peluncuran(Tingkatan hierarki resource)
Nama tampilan
Jenis, Tipe, Unit
Resource yang dimonitor
Deskripsi
Label
federation/health BETA(project)
Kondisi layanan federasi
GAUGEINT641
metastore.googleapis.com/Federation
Kondisi layanan Federated Dataproc Metastore.
version: Versi Hive Metastore dari layanan.
federation/server/request_count BETA(project)
Jumlah permintaan layanan federasi
DELTAINT64{request}
metastore.googleapis.com/Federation
Jumlah permintaan yang dikirim ke Layanan Dataproc Metastore Terfederasi.
method_name: Nama metode permintaan.
status: Status akhir permintaan, salah satu dari [success, client_error, server_error].
version: Versi Hive Metastore dari layanan.
service/grpc/finished_requests_count BETA(project)
Jumlah Permintaan gRPC Selesai
DELTAINT641
metastore.googleapis.com/Service
Jumlah permintaan yang diselesaikan oleh Layanan Dataproc Metastore GRPC.
tier: Tingkat layanan atau ukuran instance layanan, seperti ENTERPRISE.
version: Versi Hive Metastore dari layanan.
status: Status permintaan, seperti `BAD_REQUEST`.
method_name: Nama metode permintaan.
service/grpc/received_bytes_count BETA(project)
Byte gRPC yang Diterima
DELTAINT64By
metastore.googleapis.com/Service
Jumlah byte yang diterima oleh Layanan Dataproc Metastore.
tier: Tingkat layanan atau ukuran instance layanan.
version: Versi Hive Metastore dari layanan.
service/grpc/request_latencies BETA(project)
Latensi Permintaan gRPC
DELTADISTRIBUTIONms
metastore.googleapis.com/Service
Distribusi latensi permintaan gRPC untuk Layanan Dataproc Metastore.
tier: Tingkat layanan atau ukuran instance layanan.
version: Versi Hive Metastore dari layanan.
status: Status permintaan, seperti `BAD_REQUEST`.
method_name: Nama metode permintaan.
service/grpc/sent_bytes_count BETA(project)
Byte gRPC yang Dikirim
DELTAINT64By
metastore.googleapis.com/Service
Jumlah byte yang dikirim oleh Layanan Dataproc Metastore.
tier: Tingkat layanan atau ukuran instance layanan.
version: Versi Hive Metastore dari layanan.
service/grpc/started_requests_count BETA(project)
Jumlah Permintaan gRPC yang Dimulai
DELTAINT641
metastore.googleapis.com/Service
Jumlah permintaan yang diterima dan dimulai oleh Layanan GRPC Dataproc Metastore.
tier: Tingkat layanan atau ukuran instance layanan.
version: Versi Hive Metastore dari layanan.
method_name: Nama metode permintaan.
service/grpc_client/finished_requests_count BETA(project)
Jumlah Permintaan Klien gRPC Selesai
CUMULATIVEINT641
metastore.googleapis.com/Service
Total jumlah RPC yang diselesaikan di klien, terlepas dari keberhasilan atau kegagalan.
status: Status permintaan, seperti `BAD_REQUEST`.
method_name: Nama metode permintaan.
service/grpc_client/received_bytes_count BETA(project)
Byte yang Diterima Klien gRPC
CUMULATIVEINT64By
metastore.googleapis.com/Service
Jumlah byte yang diterima oleh klien gRPC.
service/grpc_client/request_latencies BETA(project)
Latensi Permintaan Klien gRPC
CUMULATIVEDISTRIBUTIONms
metastore.googleapis.com/Service
Distribusi latensi permintaan gRPC untuk Layanan Dataproc Metastore.
status: Status permintaan, seperti `BAD_REQUEST`.
method_name: Nama metode permintaan.
service/grpc_client/sent_bytes_count BETA(project)
gRPC Client Bytes Sent
CUMULATIVEINT64By
metastore.googleapis.com/Service
Jumlah byte yang dikirim oleh klien gRPC.
service/grpc_client/started_requests_count BETA(project)
Jumlah Permintaan Klien gRPC yang Dimulai
CUMULATIVEINT641
metastore.googleapis.com/Service
Jumlah permintaan yang dimulai oleh klien gRPC.
method_name: Nama metode permintaan.
service/health GA(project)
Kesehatan layanan
GAUGEINT641
metastore.googleapis.com/Service
Kondisi Layanan Dataproc Metastore.
tier: Tingkat layanan atau ukuran instance layanan, seperti ENTERPRISE.
version: Versi Hive Metastore dari layanan.
release_tag: Tag rilis Dataproc Metastore, diisi oleh backend layanan dan dapat berubah selama masa aktif layanan.
service/metadata/bytes_used BETA(project)
Ukuran metadata yang disimpan di layanan Dataproc Metastore.
GAUGEINT64By
metastore.googleapis.com/Service
Jumlah data yang disimpan dalam database backend layanan.
version: Versi Hive Metastore dari layanan.
database_type: Jenis database, salah satu dari [SQL, Spanner].
service/migration/replication_lag BETA(project)
Latensi pemrosesan pipeline replikasi dalam detik.
GAUGEDOUBLEs
metastore.googleapis.com/Service
Durasi maksimum saat ini dalam detik yang diperlukan untuk mereplikasi data ke Dataproc Metastore.
migration_id: ID migrasi.
service/migration/write_throughput BETA(project)
Throughput penulisan database tujuan.
GAUGEDOUBLEBy/s
metastore.googleapis.com/Service
Throughput penulisan saat ini di database Dataproc Metastore tempat data disalin selama fase replikasi.
migration_id: ID migrasi.
service/multi_region/health GA(project)
Kesehatan layanan multiregional
GAUGEINT641
metastore.googleapis.com/Service
Kondisi Layanan Dataproc Metastore multiregional.
version: Versi Hive Metastore dari layanan.
release_tag: Tag rilis Dataproc Metastore, diisi oleh backend layanan dan dapat berubah selama masa aktif layanan.
service_region: Wilayah konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor: Faktor penskalaan layanan, salah satu dari [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_count GA(project)
Jumlah permintaan layanan multiregional
DELTAINT64{request}
metastore.googleapis.com/Service
Jumlah permintaan yang dikirim ke Layanan Dataproc Metastore multiregional.
method_name: Nama metode permintaan.
version: Versi Hive Metastore dari layanan.
service_region: Wilayah konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor: Faktor penskalaan layanan, salah satu dari [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_latencies GA(project)
Latensi permintaan layanan multiregional
DELTADISTRIBUTIONms
metastore.googleapis.com/Service
Latensi permintaan yang dikirim ke Layanan Dataproc Metastore multiregional.
method_name: Nama metode permintaan.
version: Versi Hive Metastore dari layanan.
service_region: Wilayah konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor: Faktor penskalaan layanan, salah satu dari [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/query_metadata/request_count BETA(project)
Jumlah permintaan Antarmuka Admin
DELTAINT64{request}
metastore.googleapis.com/Service
Jumlah permintaan Antarmuka Admin.
database_type: Jenis database, salah satu dari [SQL, Spanner].
code: Kode status gRPC.
service/query_metadata/request_latencies BETA(project)
Latensi permintaan Antarmuka Admin
DELTADISTRIBUTIONms
metastore.googleapis.com/Service
Latensi permintaan end-to-end untuk permintaan Antarmuka Admin.
database_type: Jenis database, salah satu dari [SQL, Spanner].
code: Kode status gRPC.
service/request_count GA(project)
Jumlah permintaan
DELTAINT64{request}
metastore.googleapis.com/Service
Jumlah permintaan yang dikirim ke Layanan Dataproc Metastore.
method_name: Nama metode permintaan.
version: Versi Hive Metastore dari layanan.
service/request_latencies BETA(project)
Latensi permintaan
DELTADISTRIBUTIONms
metastore.googleapis.com/Service
Latensi permintaan yang dikirim ke Layanan Dataproc Metastore.
method_name: Nama metode permintaan.
version: Versi Hive Metastore dari layanan.
service/scheduled_backups/backup_count BETA(project)
Jumlah Pencadangan Terjadwal
DELTAINT641
metastore.googleapis.com/Service
Jumlah cadangan terjadwal yang saat ini disimpan untuk layanan.
state: Status pencadangan, salah satu dari [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Jenis database, salah satu dari [SQL, Spanner].
version: Versi Hive Metastore dari layanan.
service/scheduled_backups/last_backup_duration BETA(project)
Pencadangan Terjadwal - Durasi Pencadangan Terakhir
GAUGEINT64s
metastore.googleapis.com/Service
Durasi pencadangan terjadwal terakhir yang berhasil dalam detik. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 120 detik.
state: Status pencadangan, salah satu dari [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Jenis database, salah satu dari [SQL, Spanner].
version: Versi Hive Metastore dari layanan.
service/scheduled_backups/last_backup_size BETA(project)
Permintaan Pencadangan Terjadwal - Ukuran Pencadangan Terakhir
GAUGEINT64By
metastore.googleapis.com/Service
Ukuran pencadangan terjadwal terakhir yang berhasil dalam byte. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 120 detik.
state: Status pencadangan, salah satu dari [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Jenis database, salah satu dari [SQL, Spanner].
version: Versi Hive Metastore dari layanan.

Tabel dihasilkan pada 2025-08-08 23:40:45 UTC.

Membuat dasbor Monitoring kustom

Anda dapat membuat dasbor Monitoring kustom yang menampilkan diagram metrik layanan Dataproc Metastore yang dipilih.

  1. Pilih + CREATE DASHBOARD dari halaman Monitoring Dashboards Overview.

  2. Beri nama dasbor.

  3. Di menu kanan atas, klik Tambahkan Diagram untuk membuka jendela Tambahkan Diagram.

  4. Untuk jenis resource, pilih Dataproc Metastore Service.

  5. Pilih satu atau beberapa metrik dan properti metrik serta diagram, lalu klik Simpan untuk menyimpan diagram.

  6. Tambahkan diagram lain ke dasbor jika Anda mau.

  7. Untuk menyimpan dasbor, klik Simpan . Judulnya muncul di halaman Ringkasan Dasbor Monitoring.

Anda dapat melihat, memperbarui, dan menghapus diagram dasbor dari halaman tampilan dasbor.

Menggunakan pemberitahuan Monitoring

Anda dapat membuat pemberitahuan Monitoring yang memberi tahu Anda saat metrik layanan atau tugas Dataproc Metastore melampaui batas yang ditentukan.

Membuat pemberitahuan

  1. Di Google Cloud console, buka Monitoring Alerting.

  2. Untuk membuka formulir Create new alerting policy, klik + CREATE POLICY

  3. Tentukan pemberitahuan dengan menambahkan kondisi pemberitahuan, pemicu kebijakan, saluran notifikasi, dan dokumentasi.

  4. Pilih TAMBAHKAN KONDISI untuk membuka formulir kondisi pemberitahuan dengan tab Metrik dipilih.

  5. Isi kolom untuk menentukan kondisi pemberitahuan, lalu klik TAMBAHKAN.

  6. Setelah menambahkan kondisi pemberitahuan, selesaikan kebijakan pemberitahuan dengan menyetel saluran notifikasi, pemicu kebijakan, dokumentasi, dan nama kebijakan pemberitahuan.

Lihat pemberitahuan

Saat pemberitahuan dipicu oleh kondisi nilai minimum metrik, Monitoring akan membuat insiden dan peristiwa yang sesuai. Anda dapat melihat insiden dari halaman Monitoring Alerting di konsol Google Cloud . Jika Anda menentukan mekanisme notifikasi dalam kebijakan pemberitahuan, seperti notifikasi email atau SMS, Monitoring juga akan mengirimkan notifikasi insiden.

Langkah selanjutnya