Menyiapkan pemberitahuan dan notifikasi untuk tugas Katalog Universal Dataplex

Halaman ini menjelaskan cara menyiapkan pemberitahuan untuk eksekusi tugas yang gagal dari tugas Katalog Universal Dataplex.

Untuk menyiapkan pemberitahuan, Anda dapat menggunakan Logs Explorer di Google Cloud konsol atau Monitoring API.

Terminologi

  • Durasi penutupan insiden otomatis: Anda dapat menutup insiden secara otomatis jika tidak ada entri log yang cocok dalam durasi ini.
  • Jarak waktu antar-notifikasi: Anda dapat mengurangi frekuensi notifikasi berulang dengan menetapkan jarak waktu antar-notifikasi yang sama. Entri log yang cocok dengan filter akan dilewati selama waktu ini. Waktu minimum yang dapat Anda tetapkan adalah 5 menit.

Menyiapkan notifikasi menggunakan Logs Explorer

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Klik tombol Tampilkan kueri.

    1. Untuk menyiapkan pemberitahuan untuk eksekusi tugas yang gagal dari tugas Dataplex Universal Catalog di project, ketik kueri berikut:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Untuk menyiapkan pemberitahuan untuk eksekusi tugas yang gagal dari tugas Dataplex Universal Catalog tertentu dalam project, ketik kueri berikut:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Klik Buat pemberitahuan.

  4. Di kolom Alert Policy Name, masukkan nama untuk pemberitahuan baru.

  5. Di kolom Dokumentasi, masukkan deskripsi yang ingin Anda sertakan dalam notifikasi. Untuk mengetahui informasi selengkapnya tentang konten yang dapat Anda sertakan dalam kolom dokumentasi kebijakan pemberitahuan, lihat Menggunakan Markdown dan variabel dalam template dokumentasi.

  6. Klik Berikutnya.

  7. Pilih log yang ingin Anda sertakan dalam pemberitahuan, lalu klik Berikutnya.

  8. Tetapkan Time between notifications dan Incident autoclose duration, lalu klik Next.

  9. Opsional: Pilih saluran notifikasi. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi saluran notifikasi menggunakan konsol Google Cloud , lihat Mengelola saluran notifikasi.

  10. Klik Simpan.

Menyiapkan notifikasi menggunakan Monitoring API

  1. Opsional: Aktifkan Monitoring API dan beri otorisasi pengguna untuk mengaksesnya. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Monitoring API.
  2. Opsional: Tetapkan peran atau izin yang diperlukan untuk membuat kebijakan pemberitahuan. Untuk mengetahui informasi selengkapnya, lihat Otorisasi yang diperlukan untuk membuat kebijakan pemberitahuan.
  3. Buat saluran notifikasi menggunakan konsol Google Cloud atau Google Cloud CLI.

  4. Dapatkan channel_id:

    gcloud beta monitoring channels list

  5. Buat file policy.json dengan konten berikut untuk log-based-alerting-policy:

    1. Siapkan pemberitahuan untuk eksekusi tugas yang gagal dari tugas Dataplex Universal Catalog apa pun dalam project:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Siapkan pemberitahuan untuk eksekusi tugas yang gagal untuk tugas Dataplex Universal Catalog tertentu dalam project:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Teruskan file policy.json ke CLI gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Jika berhasil, perintah akan menampilkan nama resource kebijakan baru. Misalnya:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Langkah berikutnya