Menyiapkan pemberitahuan dan notifikasi untuk tugas Dataplex

Halaman ini menjelaskan cara menyiapkan pemberitahuan untuk eksekusi tugas yang gagal dari tugas Dataplex.

Anda dapat menyiapkan pemberitahuan menggunakan salah satu tindakan berikut:

  • Logs Explorer di konsol Google Cloud
  • Monitoring API

Terminologi

  • Durasi penutupan otomatis insiden: Durasi saat insiden ditutup saat tidak ada entri log yang cocok.
  • Waktu antar-notifikasi: Jumlah waktu minimum antara penerimaan notifikasi untuk log yang cocok dengan filter. Log yang cocok dalam jumlah waktu minimum akan dilewati. Waktu minimum yang dapat Anda tetapkan adalah 5 menit.

Menyiapkan notifikasi menggunakan Logs Explorer

  1. Buka Google Cloud Console di browser Anda.
  2. Klik Navigation Menu > Logging > Logs Explorer.

  3. Klik tombol Tampilkan kueri.

    1. Untuk menyiapkan pemberitahuan terkait eksekusi tugas yang gagal pada tugas Dataplex apa pun dalam suatu project, ketik kueri berikut:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Guna menyiapkan pemberitahuan terkait eksekusi tugas yang gagal untuk tugas Dataplex tertentu dalam suatu project, ketik kueri berikut:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Klik Buat pemberitahuan.

  5. Di kolom Alert Policy Name, masukkan nama untuk pemberitahuan baru.

  6. Di kolom Dokumentasi, masukkan deskripsi yang ingin Anda sertakan dalam notifikasi. Untuk informasi selengkapnya tentang konten yang dapat Anda sertakan dalam kolom dokumentasi kebijakan pemberitahuan, lihat Menggunakan Markdown dan variabel dalam template dokumentasi.

  7. Klik Next.

  8. Pilih log yang ingin Anda sertakan dalam pemberitahuan, lalu klik Next.

  9. Tetapkan Time between notifications dan Incident autoclose duration, lalu klik Next.

  10. Opsional: Pilih saluran notifikasi. Untuk mengetahui informasi lebih lanjut mengenai cara mengonfigurasi saluran notifikasi menggunakan Konsol Google Cloud, lihat Mengelola saluran notifikasi.

  11. Klik Save.

Menyiapkan notifikasi menggunakan Monitoring API

  1. Aktifkan Monitoring API dan izinkan pengguna untuk mengaksesnya. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Monitoring API.
  2. Tetapkan peran atau izin yang diperlukan untuk membuat kebijakan pemberitahuan. Untuk mengetahui informasi selengkapnya, lihat Diperlukan otorisasi untuk membuat kebijakan pemberitahuan.
  3. Buat saluran notifikasi menggunakan Google Cloud Console atau Google Cloud CLI.

  4. Dapatkan channel_id menggunakan perintah berikut: 

    gcloud beta monitoring channels list

  5. Buat file policy.json dengan konten berikut untuk log-based-alerting-policy:

    1. Guna menyiapkan pemberitahuan untuk eksekusi tugas yang gagal pada tugas Dataplex apa pun dalam suatu project, gunakan kode berikut:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Guna menyiapkan pemberitahuan terkait eksekusi tugas yang gagal untuk tugas Dataplex tertentu dalam suatu project, gunakan kode berikut:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Teruskan file policy.json ke CLI gcloud menggunakan perintah berikut:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Jika berhasil, perintah akan menampilkan nama resource kebijakan yang baru. Contoh:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Langkah selanjutnya