Memantau kondisi, pemanfaatan resource, dan tugas
Sebagai administrator BigQuery, Anda dapat memantau kondisi, penggunaan slot, dan performa tugas organisasi dari waktu ke waktu dengan diagram kondisi operasional dan pemanfaatan resource. BigQuery menyediakan diagram yang dapat dikonfigurasi untuk membantu Anda melakukan hal berikut:
Pantau kesehatan operasional BigQuery. Pemantauan kondisi operasional real-time BigQuery adalah sistem pemantauan terpusat yang memungkinkan Anda mengamati penggunaan BigQuery di seluruh organisasi di beberapa lokasi.
Melihat pemanfaatan resource BigQuery. Gunakan data historis untuk melakukan analisis penyebab utama, merencanakan kapasitas, dan mendiagnosis perubahan performa.
Sebelum memulai
- Untuk melihat kondisi operasional, Anda harus menggunakan reservasi yang dapat Anda akses dengan project administrasi. Hal ini bukan persyaratan untuk melihat diagram pemanfaatan resource.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan guna melihat semua data dalam diagram kesehatan operasional dan pemanfaatan resource, minta administrator Anda untuk memberi Anda peran IAM berikut di organisasi Anda:
-
BigQuery Resource Viewer (
roles/bigquery.resourceViewer
) -
BigQuery Metadata Viewer (
roles/bigquery.metadataViewer
)
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk melihat semua data dalam diagram kesehatan operasional dan pemanfaatan resource. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk melihat semua data dalam diagram kesehatan operasional dan pemanfaatan resource:
-
Untuk melihat semua data dalam diagram kesehatan operasional dan pemanfaatan resource untuk organisasi:
-
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll
pada organisasi -
bigquery.reservationAssignments.list
di project administrasi yang digunakan untuk membuat pemesanan -
bigquery.capacityCommitments.list
di project administrasi yang digunakan untuk membuat pemesanan
-
-
Sebagai pengguna on-demand, untuk melihat semua data dalam diagram pemanfaatan resource untuk organisasi:
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll
di organisasi -
Untuk melihat data ringkasan kondisi operasional penyimpanan tabel BigQuery:
bigquery.tables.get or bigquery.tables.list
di organisasi -
Untuk melihat diagram kesehatan operasional dan penggunaan resource di tingkat pemesanan:
-
bigquery.reservations.list
di project administrasi yang digunakan untuk membuat pemesanan -
bigquery.reservationAssignments.list
di project administrasi yang digunakan untuk membuat pemesanan
-
-
Untuk melihat diagram pemanfaatan resource di tingkat project:
bigquery.jobs.listAll
di project
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Memantau kondisi operasional di seluruh organisasi
Dasbor kesehatan operasional menampilkan metrik utama untuk organisasi Anda dan reservasi di semua lokasi tempat Anda memiliki reservasi. Anda dapat menggunakan dasbor ini untuk memantau metrik berikut:
- Penggunaan slot
- Penggunaan shuffle
- Konkurensi tugas
- Error
- Durasi tugas
- Byte yang diproses
- Total penyimpanan
Melihat diagram kondisi operasional
Untuk melihat informasi tentang kesehatan operasional organisasi Anda, ikuti langkah-langkah berikut:
Di konsol Google Cloud , buka halaman Monitoring BigQuery.
Pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat pemesanan.
Di halaman Monitoring, buka tab Kesiapan operasional untuk melihat ringkasan metrik utama organisasi Anda untuk semua lokasi dan reservasi.
Opsional: Untuk melihat metrik real-time, tempat kueri dijalankan pada data baru setiap lima menit, klik tombol Data live. Secara default, setelan ini dinonaktifkan dan data akan dianggap tidak valid setelah sekitar satu jam.
Untuk memfilter metrik, konfigurasi kolom berikut:
- Di daftar Pilih lokasi, pilih wilayah yang akan dipantau.
- Dalam daftar Pilih pemesanan, pilih pemesanan.
- Dalam daftar Pilih project, pilih project.
- Di daftar Rentang waktu, pilih rentang waktu.
Opsional: Untuk melihat detail selengkapnya tentang kesehatan operasional dengan diagram pemanfaatan resource atau penjelajah tugas, klik Jelajahi lebih lanjut.
BigQuery mengumpulkan metrik dengan membuat kueri tampilan INFORMATION_SCHEMA
berikut:
INFORMATION_SCHEMA.JOBS
INFORMATION_SCHEMA.JOBS_TIMELINE
INFORMATION_SCHEMA.RESERVATIONS
INFORMATION_SCHEMA.TABLE_STORAGE
Dilihat
Tab Kesehatan operasional menampilkan ringkasan dan tampilan detail berikut.
Tampilan ringkasan
Tampilan ringkasan menunjukkan kesehatan subsistem organisasi Anda, termasuk reservasi dan region, dalam 30 menit terakhir.
Untuk melihat tampilan ringkasan, lakukan langkah-langkah berikut:
- Di tab Operational health, dalam daftar Select location, pilih All locations.
Tampilan mendetail
Tampilan mendetail menampilkan diagram linimasa mendetail dari berbagai metrik di tingkat lokasi atau pemesanan.
Untuk melihat tampilan mendetail, lakukan langkah berikut:
- Di tab Kondisi operasional, pada daftar Pilih lokasi, pilih wilayah atau edisi.
Anda dapat mempersempit data yang ditampilkan dalam tampilan detail menggunakan filter opsional berikut:
- Dalam daftar Pilih reservasi, pilih nama reservasi.
- Dalam daftar Pilih project, pilih project.
Diagram
BigQuery menyediakan opsi tabel dan diagram berikut, yang memungkinkan Anda menjelajahi metrik kondisi operasional secara mendetail.
Tabel ringkasan
Tabel ringkasan menampilkan metrik berikut:
- Penggunaan slot. Penggunaan slot rata-rata. Total kapasitas slot sama dengan kapasitas dasar dan kapasitas maksimum yang diskalakan otomatis.
- Penggunaan fitur acak. Rasio penggunaan pengacakan reservasi rata-rata maksimum.
- Konkurensi. Jumlah maksimum tugas yang berjalan secara bersamaan.
- Byte yang diproses. Total byte yang diproses oleh tugas yang diselesaikan.
- Durasi tugas. Waktu proses rata-rata tugas yang selesai, yang dihitung dari waktu saat tugas dibuat hingga waktu saat tugas berakhir.
- Total penyimpanan. Total byte logis aktif pada waktu pembaruan terakhir.
Ada dua tabel ringkasan yang ditampilkan dalam tampilan: Ringkasan lokasi dan Ringkasan reservasi. Setiap baris tabel mewakili penggunaan untuk satu lokasi atau satu reservasi.
Tabel menampilkan metrik untuk 30 menit sebelum pembaruan terakhir. Jika Data live diaktifkan, data yang dikueri akan diperbarui setiap lima menit. Jika Data live dinonaktifkan, maka keterlambatan data maksimum adalah sekitar satu jam.
Sel tabel diberi kode warna jika metrik lebih besar daripada nilai minimum yang telah ditentukan sebelumnya dan jika ada peningkatan jumlah insight performa untuk tugas berulang:
- Jika nilai metrik selama 30 menit sebelum pembaruan terakhir lebih besar daripada nilai P99 penggunaan minggu lalu untuk hari yang sama, sel tabel ditandai dengan latar belakang biru tua.
- Jika nilai metrik selama 30 menit berada di antara nilai P95 - P99 penggunaan minggu lalu untuk hari yang sama, sel tabel ditandai dengan latar belakang biru muda.
Semua nilai minimum telah ditentukan sebelumnya dan tidak dapat disesuaikan. Anda dapat memeriksa nilai minimum dengan mengklik info Info.
Memfilter data
Anda dapat memfilter data dalam diagram berdasarkan nilai berikut:
- Lokasi. Wilayah tempat organisasi memiliki aktivitas dalam 30 hari terakhir tersedia. Tampilan ringkasan menampilkan tabel yang meringkas penggunaan di semua wilayah aktif.
- Reservasi. Kolom ini hanya tersedia di tampilan mendetail. Semua reservasi yang dimiliki oleh project administrasi tersedia. Anda hanya dapat memilih satu reservasi.
- Project. Kolom ini hanya tersedia di tampilan mendetail. Semua project yang memiliki traffic di organisasi tersedia. Anda hanya dapat memilih satu project.
- Rentang waktu. Kolom ini hanya tersedia di tampilan mendetail. Hal ini memengaruhi diagram linimasa Metrik dan diagram Donat error dalam tampilan detail. Skala data dalam diagram Linimasa metrik disesuaikan secara otomatis sesuai dengan rentang waktu yang dipilih.
Diagram kueri aktif teratas
Diagram ini menampilkan sepuluh tugas teratas dengan resource aktif yang diurutkan dalam urutan menurun. Di menu drop-down, Anda dapat memilih opsi pengurutan berdasarkan penggunaan slot atau durasi tugas. ID pekerjaan dan jumlah penggunaan resource yang relevan ditampilkan dalam diagram batang. Pilih Jelajahi lebih lanjut atau ID tugas di diagram kueri aktif teratas untuk melihat detail selengkapnya di penjelajah tugas. Untuk mempelajari lebih lanjut detail eksekusi dan mendiagnosis masalah performa untuk tugas BigQuery, lihat Mendapatkan insight performa kueri.
Diagram donat error
Diagram ini menunjukkan proporsi penyebab utama kegagalan dalam jangka waktu yang dipilih. Di tampilan ringkasan, secara default, data yang ditampilkan mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol cakupannya. Anda dapat mengelompokkan error menurut jenis, project pemilik, atau reservasi. Jumlah tugas yang gagal ditampilkan dalam diagram donat.
Diagram linimasa metrik
Diagram menampilkan ringkasan metrik yang didukung selama maksimum 30 hari. Periode waktu default adalah satu jam. Saat jangka waktu yang dipilih berubah, perincian setiap titik data dalam diagram akan diskalakan secara otomatis.
Diagram ini menampilkan nilai gabungan di suatu wilayah atau reservasi. Menampilkan data untuk beberapa wilayah atau beberapa reservasi tidak didukung.
Diagram Linimasa metrik mendukung metrik berikut:
- Penggunaan slot. Penggunaan slot rata-rata dalam jangka waktu yang dipilih. Bagian ini menampilkan penggunaan slot secara keseluruhan dari semua tugas dan tugas yang gagal secara terpisah.
- Konkurensi tugas. Jumlah maksimum tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Bagian ini menampilkan jumlah tugas yang sedang berjalan dan tugas yang tertunda secara terpisah dan ditampilkan sebagai diagram batang bertumpuk.
- Byte yang dipindai. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
- Acak. Rasio penggunaan shuffle rata-rata pemesanan maksimum dalam jangka waktu yang dipilih.
- Durasi tugas. Waktu proses rata-rata tugas yang diselesaikan dalam jangka waktu yang dipilih, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
- Error menurut jenis. Diagram donat Error menampilkan proporsi berbagai penyebab kegagalan dalam jangka waktu yang dipilih.
Selain tren metrik, diagram menampilkan garis referensi nilai metrik P95 dan P99 penggunaan minggu lalu untuk hari yang sama. Diagram Serentak tugas menampilkan nilai minimum untuk jumlah tugas yang tertunda dan sedang berjalan. Nilai yang dirujuk tersebut digunakan sebagai nilai minimum pengodean warna dalam tabel ringkasan.
Untuk mempelajari diagram lebih lanjut, klik Jelajahi lebih lanjut. Anda akan dialihkan ke tab Penggunaan resource.
Tabel insight
Tabel ini menggabungkan error kuota, error akses ditolak, dan insight performa yang dikumpulkan selama eksekusi tugas dalam jangka waktu yang dipilih. Insight digabungkan di tingkat reservasi. Setiap baris memberikan informasi tentang jenis insight, lokasi, reservasi, detail insight, dan ID tugas contoh. Klik ID tugas untuk melihat detail tugas lainnya di jobs explorer. Pada ringkasan tampilan, jangka waktu pengamatan default mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol jangka waktu tertentu yang data pengamatannya ditampilkan.
Memantau kondisi operasional untuk satu project
Dasbor kesehatan operasional project adalah tampilan default yang Anda dapatkan jika Anda tidak memiliki akses ke seluruh organisasi, atau project Anda tidak memiliki reservasi apa pun. Tampilan ini dapat membantu analis proyek memantau kondisi sistem untuk proyek mereka, seperti dasbor kondisi operasional di tingkat organisasi, tetapi hanya menampilkan data tingkat proyek dalam diagram dan filternya.
Melihat pemanfaatan resource BigQuery
Diagram resource BigQuery membantu Anda melacak penggunaan resource sebelumnya untuk merencanakan kebutuhan mendatang dan memecahkan masalah performa.
Diagram mengumpulkan metrik dengan membuat kueri tampilan
INFORMATION_SCHEMA
berikut:
Data dapat diperbarui secara real time, yaitu maksimum 30 hari.
Saat melihat pemanfaatan resource, Anda dapat mengonfigurasi hal berikut:
Diagram linimasa peristiwa menampilkan ringkasan data selama maksimum 30 hari. Nilai defaultnya adalah 6 jam.
Diagram utama menampilkan metrik yang dipilih, seperti penggunaan slot atau byte yang diproses, seiring waktu untuk organisasi atau project administrasi Anda. Keterangan untuk diagram memberikan detail selengkapnya tentang data yang ditampilkan.
Panel Konfigurasi diagram memungkinkan Anda memilih tampilan standar metrik atau menyesuaikan metrik Anda sendiri untuk tampilan.
Diagram pemanfaatan resource memiliki elemen berikut:
- Di tab penggunaan resource, arahkan kursor ke chip status di bagian atas diagram untuk menampilkan informasi selengkapnya tentang metrik.
Chip status juga menampilkan hal berikut:
- Jika metrik masih dimuat, ikon pemuatan akan ditampilkan.
- Jika metrik menggunakan data yang sudah basi, ikon jam akan ditampilkan.
- Jika metrik tidak dapat dimuat karena filter tingkat halaman yang tidak didukung, metrik akan dicoret.
- Jika metrik gagal dimuat, chip status akan ditandai.
Melihat dan mengonfigurasi diagram pemanfaatan resource
Untuk melihat dan mengonfigurasi diagram pemanfaatan resource, ikuti langkah-langkah berikut:
Di konsol Google Cloud , buka halaman Monitoring BigQuery.
Pilih project. Sebagai administrator yang memantau penggunaan resource reservasi, pilih project administrasi yang digunakan untuk membeli slot dan membuat reservasi. Sebagai analis data yang memantau penggunaan resource tugas, pilih project yang sesuai.
Di halaman Monitoring, buka tab Pemanfaatan resource untuk melihat ringkasan penggunaan resource, yang dikelompokkan menurut lokasi.
Pilih jangka waktu untuk metrik dalam tampilan ini, seperti 1 hari. Untuk melihat metrik real-time, tempat kueri dijalankan pada data baru, klik tombol Data live. Setelan ini dinonaktifkan secara default untuk meningkatkan performa, dan status tidak berlaku maksimum data adalah sekitar satu jam.
Di panel Konfigurasi diagram, konfigurasikan kolom berikut:
- Di kolom Tampilan metrik, pilih salah satu tampilan.
- Di kolom Metrik, pilih metrik yang akan dilihat. Anda dapat menambahkan atau mengedit metrik.
- Di kolom Kelompokkan menurut, pilih cara mengelompokkan data.
- Di kolom Filter, pilih cara memfilter data.
Untuk menyimpan perubahan yang telah Anda buat pada konfigurasi diagram, klik Terapkan.
Tampilan metrik
BigQuery menyediakan tampilan yang telah dikonfigurasi sebelumnya untuk metrik pemanfaatan resource. Bagian berikut menjelaskan metrik yang dapat Anda konfigurasi di tampilan tersebut.
Penggunaan slot reservasi
Tampilan ini menunjukkan metrik tentang perincian penggunaan slot untuk reservasi dalam project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:
- Data penggunaan default berasal dari resource reservasi.
- Cakupan default adalah project.
- Agregasi default adalah berdasarkan penggunaan rata-rata dalam jangka waktu yang dipilih.
Nama metrik | Deskripsi |
---|---|
Reservasi - Penggunaan slot | Memantau total penggunaan slot untuk jangka waktu yang dipilih. |
Reservasi - Penggunaan slot tidak aktif | Memantau penggunaan slot yang melebihi kapasitas reservasi dalam
jangka waktu yang dipilih. Metrik ini memungkinkan Anda memantau slot tidak ada aktivitas yang dipinjam dari reservasi dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan. Yang terakhir dapat menyebabkan metrik ini menjadi
nilai bukan nol, meskipun berbagi slot tidak aktif dinonaktifkan.
Penggunaan slot tidak aktif adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Di-commit, dan Slot yang Diskalakan Otomatis. Jika nilai penggunaan slot melebihi Kapasitas Komitmen dan Slot yang Diskalakan Otomatis, maka diagram akan mengelompokkan slot yang tersisa sebagai slot tidak aktif. |
Reservasi - Slot yang digunakan untuk dasar pengukuran | Memantau slot yang digunakan dari dasar pengukuran reservasi. |
Reservasi - Slot yang digunakan dengan penskalaan otomatis | Memantau slot yang digunakan dari slot penskalaan otomatis reservasi. |
Ringkasan penggunaan edisi
Tampilan ini menunjukkan metrik tentang penggunaan dan kapasitas slot untuk resource edisi dalam project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:
- Data penggunaan default berasal dari resource pemesanan dan data kapasitas berasal dari resource edisi.
- Cakupan default adalah project.
Nama metrik | Deskripsi |
---|---|
Reservasi - Penggunaan slot | Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default adalah menurut penggunaan slot p99 dalam jangka waktu yang dipilih. |
Reservasi - Penggunaan slot tidak aktif | Memantau penggunaan slot yang melebihi kapasitas reservasi dalam
jangka waktu yang dipilih. Metrik ini memungkinkan Anda memantau slot tidak ada aktivitas yang dipinjam dari reservasi dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan. Yang terakhir dapat menyebabkan metrik ini memiliki
nilai bukan nol, meskipun berbagi slot tidak aktif dinonaktifkan.
Penggunaan slot tidak aktif adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Di-commit, dan Slot yang Diskalakan Otomatis. Jika nilai penggunaan slot melebihi Kapasitas Komitmen dan Slot yang Diskalakan Otomatis, maka diagram akan mengelompokkan slot yang tersisa sebagai slot tidak aktif. Agregasi default adalah menurut penggunaan resource p99 dalam jangka waktu yang dipilih. |
Edisi - Kapasitas dasar | Memantau ukuran dasar reservasi dalam project administrasi ini. |
Edisi - Kapasitas maksimum | Memantau jumlah maksimum slot yang tersedia dalam jangka waktu yang dipilih. Metrik ini adalah jumlah kapasitas komitmen, kapasitas dasar, dan kapasitas yang diskalakan otomatis. Agregasi default adalah menurut penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Edisi - Kapasitas yang ditetapkan | Memantau jumlah slot sebenarnya yang ditetapkan ke resource edisi Anda dalam jangka waktu yang dipilih. Agregasi default adalah menurut penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Ringkasan project saat ini
Tampilan ini menunjukkan metrik tentang resource tugas dalam project tempat Anda menjalankan kueri. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:
- Resource default adalah resource tugas.
- Cakupan default adalah project.
Nama metrik | Deskripsi |
---|---|
Penggunaan Job - Project - Slot | Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default adalah menurut penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Tugas - Project - Byte yang diproses | Memantau total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan jumlah byte yang diproses dalam jangka waktu yang dipilih. |
Tugas - Proyek - Konkurensi tugas | Memantau jumlah tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Agregasi default adalah menurut penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Tugas - Project - Durasi tugas | Memantau runtime tugas yang telah selesai dalam jangka waktu yang dipilih. Waktu proses mengukur waktu antara pembuatan tugas hingga penyelesaian tugas. Agregasi default adalah menurut runtime rata-rata dalam jangka waktu yang dipilih. |
Ringkasan reservasi yang dimiliki
Tampilan ini menunjukkan metrik tentang aktivitas tugas dengan resource pemesanan di project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:
- Resource default adalah resource reservasi.
- Cakupan default adalah project.
Nama metrik | Deskripsi |
---|---|
Reservasi - Penggunaan slot | Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default adalah menurut penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Reservasi - Byte yang diproses | Memantau total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan jumlah byte yang diproses dalam jangka waktu yang dipilih. |
Reservasi - Konkurensi tugas | Memantau jumlah tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Agregasi default adalah menurut penggunaan resource maksimum dalam jangka waktu yang dipilih. |
Reservasi - Durasi tugas | Memantau runtime tugas yang telah selesai dalam jangka waktu yang dipilih. Waktu proses mengukur waktu antara pembuatan tugas hingga penyelesaian tugas. Hal ini mencakup antrean dan percobaan ulang. Agregasi default adalah menurut rata-rata waktu proses dalam jangka waktu yang dipilih. |
Reservasi - Penggunaan shuffle | Memantau rasio penggunaan shuffle dalam jangka waktu yang dipilih. Agregasi default adalah menurut rata-rata penggunaan dalam jangka waktu yang dipilih. |
Tampilan khusus
Untuk membuat tampilan metrik kustom, Anda dapat menambahkan metrik dari awal, atau memulai dengan salah satu tampilan metrik yang telah ditentukan sebelumnya (misalnya, tampilan metrik Ringkasan reservasi) dan menyesuaikan metrik di dalamnya.
Metrik
Saat mengonfigurasi diagram, Anda dapat menambahkan, mengedit, atau menghapus metrik pemanfaatan resource yang dipantaunya.
Untuk mengonfigurasi metrik diagram pemanfaatan resource, ikuti langkah-langkah berikut:
Di Google Cloud konsol, lihat diagram pemanfaatan resource BigQuery.
Di panel Konfigurasi diagram, konfigurasikan kolom Metrik:
- Klik Tambahkan item > Pilih metrik.
Pada dialog Pilih metrik, pilih opsi berikut:
- Jenis resource yang akan dipantau: Job, Reservation, atau Edition.
- Cakupan yang akan dipantau. Misalnya, untuk memantau metrik tugas di project saat ini, pilih cakupan Project.
- Pilih metrik yang akan dipantau. Misalnya, untuk memantau penggunaan slot tugas, pilih Penggunaan slot.
Klik Terapkan.
Pada dialog Item baru, pilih agregasi. Misalnya, untuk memantau penggunaan slot maksimum yang melebihi kapasitas reservasi dalam jangka waktu yang dipilih, pilih Maks.
Simpan metrik dengan mengklik Selesai.
Opsional: Untuk mengubah metrik yang ada, klik nama metrik dan edit setelannya atau hapus metrik tersebut.
Jenis resource dan cakupan yang didukung untuk metrik
Metrik pemanfaatan resource dikategorikan menurut jenis dan cakupan resource.
Jenis resource
Anda dapat memantau jenis resource berikut:
Resource | Deskripsi |
---|---|
Tugas | Metrik tentang detail tugas BigQuery untuk cakupan dan jangka waktu tertentu. |
Reservasi | Metrik tentang penggunaan reservasi BigQuery untuk cakupan dan jangka waktu tertentu. Metrik ini menggabungkan detail tugas menurut reservasi. Jika Anda hanya memiliki akses data parsial di tingkat reservasi, metrik penggunaan reservasi gabungan tersedia, tanpa akses ke detail tingkat tugas. |
Edisi | Metrik tentang kapasitas edisi BigQuery untuk cakupan dan jangka waktu tertentu. |
Jenis cakupan
Setelah memilih resource untuk metrik, Anda memilih cakupan.
- Resource pemesanan dan edisi secara default memiliki cakupan tingkat project.
- Resource tugas dapat ditetapkan ke cakupan tingkat project, folder, atau organisasi. Cakupan yang lebih luas memerlukan izin tambahan.
Kelompokkan menurut
Untuk mengelompokkan data dalam diagram pemanfaatan resource, ikuti langkah-langkah berikut:
Di Google Cloud konsol, lihat diagram pemanfaatan resource BigQuery.
Di panel Konfigurasi diagram, konfigurasikan kolom Kelompokkan menurut dengan memilih salah satu opsi berikut:
- Tidak Ada: Opsi ini memberikan ringkasan tingkat tinggi metrik yang dipilih dari waktu ke waktu di seluruh organisasi.
- Project: Opsi ini mengelompokkan metrik yang dipilih menurut project. Jika ada lebih dari 50 project, hanya 50 project teratas dengan penggunaan slot tertinggi yang ditampilkan.
- Semua opsi kelompokkan menurut lainnya: Opsi ini serupa dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing. Jika opsi pengelompokan tidak didukung untuk semua metrik yang dipilih, opsi tersebut tidak dapat dipilih.
Filter
Saat mengonfigurasi diagram pemanfaatan resource, Anda dapat menerapkan filter ke data, seperti menampilkan penggunaan resource untuk resource edisi Enterprise, atau menurut ID resource.
Untuk memfilter data diagram, terapkan filter di panel filter. Anda hanya dapat memilih filter jika filter tersebut didukung untuk metrik yang Anda pilih. Untuk melihat izin yang diperlukan, klik menu Filter.
Melihat data pemanfaatan resource tingkat project
Anda dapat menganalisis pemanfaatan resource tingkat project menggunakan langkah-langkah konfigurasi yang sama seperti yang Anda lakukan untuk melihat data tingkat organisasi. Diagram hanya menampilkan data dan opsi konfigurasi tingkat project (opsi tingkat organisasi berwarna abu-abu). Cakupan tingkat project ini menunjukkan pemanfaatan resource secara keseluruhan, terlepas dari mode penagihan dalam project kontekstual.
Batasan diagram pemanfaatan resource
- Diagram dan tabel di tengah halaman menampilkan metrik yang relevan dengan jangka waktu dan perincian yang dipilih.
- Metrik dengan satuan yang sama memiliki skala yang sama. Diagram ini mendukung hingga dua skala yang berbeda.
Beralih ke UI lama
Secara default, Anda memiliki akses ke diagram resource Edisi saat beralih dari project administrasi reservasi. Anda dapat beralih antara diagram resource on-demand dan diagram resource Edisi dari project administrasi pemesanan (Pratinjau).
Untuk melihat diagram resource, ikuti langkah-langkah berikut:
- Buka halaman BigQuery.
Buka BigQuery - Di menu project, pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat reservasi.
- Di menu navigasi, klik Monitoring.
- Di bagian Opsi diagram > Cakupan, Anda dapat memilih model penagihan dari daftar, yang mencakup tiga jenis Edisi dan on-demand. Secara default, model penagihan ditetapkan ke edisi Enterprise.
- Di bagian Opsi diagram > Konfigurasi Diagram, lakukan tindakan
berikut:
- Dari daftar Chart, pilih jenis chart. Untuk mengetahui informasi tentang berbagai opsi diagram, lihat Opsi diagram.
- Dari daftar Metrik, pilih jenis metrik yang tersedia.
- Dari daftar Kelompokkan menurut, pilih dimensi yang ingin Anda gunakan untuk mengelompokkan data dalam diagram. Untuk mengetahui informasi tentang berbagai dimensi, lihat Mengelompokkan menurut opsi.
- Dari daftar Filter, pilih opsi filter yang tersedia. Untuk mengetahui informasi tentang berbagai filter, lihat Filter dan penelusuran.
- Tetapkan jangka waktu yang ingin Anda gunakan untuk melihat data dalam diagram.
Konfigurasi chart
Anda dapat menyesuaikan tampilan diagram resource dengan mengubah opsi konfigurasi diagram berikut.
Opsi chart
BigQuery menyediakan jenis metrik berikut untuk ditampilkan dalam diagram:
- Penggunaan Slot. Penggunaan slot rata-rata. Jika opsi Kelompokkan menurut ditetapkan ke
Keseluruhan, atau jika Filter adalah Tidak Ada atau satu reservasi,
maka metrik penggunaan slot yang dipinjam dan kapasitas juga ditampilkan.
- Total Penggunaan. Penggunaan slot rata-rata dalam jangka waktu yang dipilih.
- Penggunaan Slot yang Dipinjam. Penggunaan rata-rata yang melebihi kapasitas reservasi. Hal ini biasanya merupakan slot tidak ada aktivitas yang dipinjam dari pemesanan dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan. Slot tidak ada aktivitas tambahan muncul dalam diagram penggunaan resource, meskipun berbagi slot tidak ada aktivitas dinonaktifkan. Penggunaan slot saat tidak ada aktivitas adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Di-commit, dan Slot yang Diskalakan Otomatis. Jika nilai penggunaan slot melebihi Kapasitas Komitmen, maka diagram akan mengelompokkannya sebagai slot tidak aktif.
- Kapasitas Komitmen. Ukuran komitmen edisi.
- Kapasitas Dasar. Ukuran dasar pengukuran reservasi.
- Kapasitas Penskalaan Otomatis. Ukuran slot dengan penskalaan otomatis.
- Kapasitas Maksimum. Jumlah maksimum slot yang dapat diakses pengguna.
- Konkurensi Tugas. Jumlah maksimum tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih.
- Performa Tugas. Waktu berjalannya tugas rata-rata untuk tugas yang diselesaikan, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
- Tugas yang Gagal. Penggunaan slot rata-rata dalam jangka waktu yang dipilih dari tugas yang gagal.
- Byte yang Diproses. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
- Penggunaan Shuffle. Rasio penggunaan shuffle rata-rata dalam jangka waktu yang dipilih (pratinjau).
Komponen tabel
Tabel ini menampilkan metrik yang relevan dengan jangka waktu dan dimensi yang Anda pilih di diagram resource.
Diagram Penggunaan Slot menampilkan Penggunaan slot rata-rata untuk semua tugas yang berjalan selama jangka waktu yang dipilih. Tugas yang tidak selesai dalam jangka waktu yang dipilih hanya mencakup slot yang digunakan dalam jangka waktu tersebut.
Untuk diagram Performa Tugas, komponen tabel menampilkan metrik berikut:
- Jumlah tugas. Jumlah tugas yang telah selesai dan berjalan atau dijalankan sebagian dalam jangka waktu yang dipilih.
- Durasi tugas rata-rata. Durasi tugas rata-rata untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
- Durasi tugas median. Durasi tugas median untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
- Durasi tugas minimum. Durasi tugas minimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.
- Durasi tugas maksimum. Durasi tugas maksimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.
Untuk diagram Tugas yang Gagal, komponen tabel menampilkan data berikut:
- Penggunaan slot rata-rata. Sama seperti diagram Penggunaan Slot, tetapi hanya untuk tugas yang gagal.
- Total tugas yang gagal. Jumlah tugas yang gagal dalam jangka waktu yang dipilih.
Mengelompokkan menurut opsi
Berdasarkan jenis diagram, Anda dapat mengelompokkan data dalam tampilan diagram menurut beberapa dimensi:
- Keseluruhan. Tampilan keseluruhan merupakan ringkasan tingkat tinggi metrik yang dipilih dari waktu ke waktu di seluruh organisasi. Untuk penggunaan slot, kapasitas dan penggunaan ditampilkan pada diagram yang sama untuk memberikan gambaran penggunaan slot secara keseluruhan dari waktu ke waktu.
- Project. Tampilan project menampilkan metrik yang dipilih dan dikelompokkan menurut project. Jika organisasi memiliki lebih dari 10 project, maka hanya 10 project teratas dengan penggunaan slot tertinggi, konkurensi tugas, durasi tugas, atau tugas yang gagal dalam jangka waktu yang dipilih yang akan ditampilkan. Untuk penggunaan slot, semua project lainnya dikelompokkan ke dalam kategori Lainnya di bagian bawah diagram untuk perbandingan yang lebih mudah dengan kapasitas keseluruhan.
- Semua tampilan kelompokkan menurut lainnya serupa dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing.
Opsi jangka waktu
Anda dapat mengubah jangka waktu dengan cara berikut:
- Pilih dan tarik jangka waktu ke diagram linimasa peristiwa.
- Pilih dan tarik jangka waktu ke chart utama.
Periode penyelarasan diupdate secara otomatis saat jangka waktu yang dipilih berubah. Makin kecil periode penyelarasan, makin mendetail tampilan. Agar dapat melihat resource yang sering berubah dengan lebih baik, misalnya opsi Penggunaan Slot, kurangi periode penyelarasan.
Memfilter dan menelusuri
Untuk mempersempit data diagram, terapkan filter di panel filter. Beberapa filter hanya tersedia untuk diagram tertentu. Filter Reservasi, Folder, Project, dan Pengguna akan diisi dengan resource masing-masing yang telah menggunakan slot dalam jangka waktu yang dipilih. Misalnya, jika sebuah project tidak digunakan dalam 30 hari terakhir, project tersebut tidak akan muncul di daftar filter project.
Diagram akan diperbarui setelah Anda menerapkan filter untuk menampilkan data dalam parameter yang dipilih.
Memecahkan masalah persaingan slot
Persaingan slot dapat terjadi jika tidak ada cukup slot untuk menjalankan semua tugas Anda, sehingga menyebabkan masalah performa. Untuk memecahkan masalah perebutan slot, lihat langkah-langkah dan praktik terbaik berikut.
Jika Anda telah mencoba praktik terbaik ini, tetapi masih mengalami masalah performa tugas, Anda dapat meminta dukungan.
Lonjakan konkurensi tugas
Gunakan Tampilan detail untuk memeriksa lonjakan tiba-tiba dalam eksekusi tugas jika ada lonjakan penggunaan slot secara bersamaan. Hal ini dapat menunjukkan bahwa ada terlalu banyak tugas yang bersaing untuk mendapatkan slot yang dibatasi oleh batas reservasi Anda.
- Praktik terbaik: Pertimbangkan untuk mengoptimalkan kueri yang menggunakan banyak resource atau kapasitas slot reservasi Anda. Untuk mengetahui informasi selengkapnya tentang pengoptimalan performa kueri, lihat Mengoptimalkan komputasi kueri.
Penggunaan slot tinggi
Gunakan Tampilan detail untuk memeriksa peningkatan durasi tugas, terutama jika ada tugas yang melebihi kapasitas maksimum reservasi Anda. Penggunaan slot yang tinggi secara konsisten dapat menunjukkan pertentangan slot yang sedang berlangsung.
- Praktik terbaik: Periksa kueri menggunakan filter persaingan slot penjelajah tugas untuk mengidentifikasi kueri yang menggunakan slot paling banyak dan mengoptimalkannya.
Durasi tugas yang panjang
Jika tugas memerlukan waktu yang jauh lebih lama untuk diselesaikan, periksa Tampilan detail. Lonjakan konkurensi tugas dan penggunaan slot yang tinggi dapat menunjukkan pertentangan slot.
- Praktik terbaik: Pisahkan tugas penting dengan menjeda sementara tugas yang kurang penting atau mengurangi keseluruhan rasio pengiriman tugas.
Pesan pertentangan slot
Tabel insight dapat
menampilkan pesan seperti There were NUMBER jobs detected with
slot_contention in the reservation.
yang menunjukkan masalah persaingan slot.
Periksa penjelajah tugas untuk meninjau detail tentang tugas tertentu yang ditandai dalam pesan ini.
- Praktik terbaik: Optimalkan kueri yang diidentifikasi atau sesuaikan alokasi slot pemesanan Anda.
Langkah berikutnya
- Pelajari pemesanan.
- Pelajari pembelian slot.
- Pelajari cara memperkirakan persyaratan kapasitas slot.
- Pelajari cara melihat insight dan rekomendasi slot.