Membuat kueri dan menganalisis log dengan Log Analytics

Dokumen ini menjelaskan cara membuat kueri dan menganalisis data log yang disimpan di bucket log yang telah diupgrade untuk menggunakan Log Analytics. Anda dapat membuat kueri log di bucket ini menggunakan SQL, yang memungkinkan Anda memfilter dan menggabungkan log. Untuk melihat hasil kueri, Anda dapat menggunakan bentuk tabel, atau memvisualisasikan data dengan diagram. Tabel dan diagram ini dapat disimpan ke dasbor kustom Anda.

Anda dapat membuat kueri tampilan log di bucket log atau tampilan analisis. Saat Anda membuat kueri tampilan log, skema sesuai dengan struktur data LogEntry. Karena pembuat tampilan analisis menentukan skema, salah satu kasus penggunaan tampilan analisis adalah mengubah data log dari format LogEntry menjadi format yang lebih sesuai untuk Anda.

Anda dapat menggunakan Logs Explorer untuk melihat entri log yang disimpan di bucket log dalam project Anda, terlepas dari apakah bucket log telah diupgrade untuk menggunakan Log Analytics atau tidak.

Log Analytics tidak menghapus duplikat entri log, yang dapat memengaruhi cara Anda menulis kueri. Selain itu, ada beberapa batasan saat menggunakan Log Analytics. Untuk mengetahui informasi selengkapnya tentang topik ini, lihat dokumen berikut:

Tentang set data tertaut

Log Analytics mendukung pembuatan set data BigQuery tertaut, yang memungkinkan BigQuery memiliki akses baca ke data pokok. Jika Anda memilih untuk membuat set data tertaut, Anda dapat melakukan hal berikut:

Dokumen ini tidak menjelaskan cara membuat set data tertaut atau cara mengonfigurasi Log Analytics untuk menjalankan kueri pada slot yang dicadangkan. Jika Anda tertarik dengan topik tersebut, lihat Mengirim kueri set data tertaut di BigQuery.

Sebelum memulai

Bagian ini menjelaskan langkah-langkah yang harus Anda selesaikan sebelum Anda dapat menggunakan Log Analytics.

Mengonfigurasi bucket log

Pastikan bucket log Anda telah diupgrade untuk menggunakan Log Analytics:

  1. Di konsol Google Cloud , buka halaman Penyimpanan Log:

    Buka Penyimpanan Log

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk setiap bucket log yang memiliki tampilan log yang ingin Anda kueri, pastikan kolom Log Analytics tersedia menampilkan Buka. Jika Upgrade ditampilkan, klik Upgrade dan selesaikan dialog.

Mengonfigurasi peran dan izin IAM

Bagian ini menjelaskan peran atau izin IAM yang diperlukan untuk menggunakan Log Analytics:

  • Untuk mendapatkan izin yang diperlukan untuk menggunakan Log Analytics dan membuat kueri tampilan log, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

    • Untuk membuat kueri bucket log _Required dan _Default: Logs Viewer (roles/logging.viewer)
    • Untuk membuat kueri semua tampilan log dalam project: Logs View Accessor (roles/logging.viewAccessor)

    Anda dapat membatasi akun utama ke tampilan log tertentu dengan menambahkan kondisi IAM ke pemberian peran Logs View Accessor yang dilakukan di tingkat project, atau dengan menambahkan binding IAM ke file kebijakan tampilan log. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke tampilan log.

    Izin ini sama dengan izin yang Anda perlukan untuk melihat entri log di halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk membuat kueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs dari bucket log _Default, lihat Peran Cloud Logging.

  • Untuk mendapatkan izin yang Anda perlukan guna mengkueri tampilan analisis, minta administrator Anda untuk memberi Anda peran IAM Observability Analytics User (roles/observability.analyticsUser) di project Anda.

Membuat kueri tampilan log atau tampilan analisis

Saat memecahkan masalah, Anda mungkin ingin menghitung entri log dengan kolom yang cocok dengan pola atau menghitung latensi rata-rata untuk permintaan HTTP. Anda dapat melakukan tindakan ini dengan menjalankan kueri SQL pada tampilan log.

Untuk mengeluarkan kueri SQL ke tampilan log, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Jika Anda ingin memuat kueri default, lakukan hal berikut:

    1. Di menu Views, buka bagian Logs atau Analytics Views , lalu pilih tampilan yang ingin Anda kueri.

      Untuk menemukan tampilan, Anda dapat menggunakan panel Filter atau men-scroll daftar:

      • Tampilan log dicantumkan berdasarkan BUCKET_ID.LOG_VIEW_ID, dengan kolom ini merujuk ke ID bucket log dan tampilan log.

      • Tampilan Analytics dicantumkan berdasarkan LOCATION.ANALYTICS_VIEW_ID, dengan kolom ini merujuk pada lokasi dan ID tampilan Analytics. Tampilan Analytics tersedia dalam Pratinjau Publik.

    2. Di toolbar Schema, klik Query.

      Panel Kueri diperbarui dengan kueri SQL yang membuat kueri tampilan analisis yang Anda pilih.

  3. Jika Anda ingin memasukkan kueri, lakukan hal berikut:

    • Untuk menentukan rentang waktu, sebaiknya gunakan pemilih rentang waktu. Jika Anda dapat menambahkan klausa WHERE yang menentukan kolom timestamp, nilai tersebut akan menggantikan setelan di pemilih rentang waktu dan pemilih tersebut dinonaktifkan.

    • Untuk contoh, lihat Contoh kueri.

    • Untuk membuat kueri tampilan log, klausa FROM untuk kueri Anda harus memiliki format berikut:

      FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`

    • Untuk membuat kueri tampilan analisis, klausa FROM untuk kueri Anda harus memiliki format berikut:

      FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`

    Berikut ini menjelaskan arti kolom dalam ekspresi sebelumnya:

    • PROJECT_ID: ID project.
    • LOCATION: Lokasi tampilan log atau tampilan analisis.
    • BUCKET_ID: Nama atau ID bucket log.
    • LOG_VIEW_ID: ID tampilan log, yang dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, angka, garis bawah, dan tanda hubung.
    • ANALYTICS_VIEW_ID: ID tampilan analisis, yang dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, angka, garis bawah, dan tanda hubung.

  4. Di toolbar, pastikan tombol berlabel Run query ditampilkan.

    Jika toolbar menampilkan Jalankan di BigQuery, klik Setelan, lalu pilih Log Analytics (default).

  5. Jalankan kueri Anda.

    Kueri dijalankan dan hasil kueri ditampilkan di tab Results.

    Anda dapat menggunakan opsi toolbar untuk memformat kueri, menghapus kueri, dan membuka dokumentasi referensi SQL BigQuery.

  6. Jelajahi hasil kueri. Anda dapat melihat hasil sebagai tabel atau sebagai diagram. Diagram dapat disimpan ke dasbor kustom. Untuk mengetahui informasi selengkapnya, lihat Membuat diagram hasil kueri SQL.

Menampilkan skema

Skema menentukan struktur dan jenis data untuk setiap kolom. Informasi ini penting bagi Anda karena menentukan cara Anda menyusun kueri. Misalnya, Anda ingin menghitung latensi rata-rata permintaan HTTP. Anda perlu mengetahui cara mengakses kolom latensi dan apakah kolom tersebut disimpan sebagai bilangan bulat seperti 100 atau disimpan sebagai string seperti "100". Jika data latensi disimpan sebagai string, kueri harus melakukan transmisi nilai ke nilai numerik sebelum menghitung rata-rata.

Log Analytics secara otomatis menyimpulkan kolom saat jenis datanya adalah JSON. Untuk melihat seberapa sering kolom yang disimpulkan ini muncul dalam data Anda, klik Opsi, lalu pilih Lihat info dan deskripsi.

Untuk mengidentifikasi skema, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Di panel Views, temukan tampilan log atau tampilan analisis, lalu pilih tampilan.

    Skema ditampilkan. Untuk tampilan log, skemanya tetap dan sesuai dengan struktur data LogEntry. Untuk tampilan analisis, Anda dapat mengubah kueri SQL untuk mengubah skema.

Langkah berikutnya