Benachrichtigungen für Aufgaben im Dataplex Universal Catalog einrichten

Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für fehlgeschlagene Jobausführungen einer Dataplex Universal Catalog-Aufgabe einrichten.

Zum Einrichten von Benachrichtigungen können Sie den Log-Explorer in der Google Cloud Console oder die Monitoring API verwenden.

Terminologie

  • Dauer bis zur automatischen Schließung von Vorfällen: Sie können einen Vorfall automatisch schließen, wenn innerhalb dieses Zeitraums keine übereinstimmenden Logeinträge vorhanden sind.
  • Zeit zwischen Benachrichtigungen: Sie können die Häufigkeit wiederholter Benachrichtigungen verringern, indem Sie eine Zeit zwischen denselben Benachrichtigungen festlegen. Logeinträge, die einem Filter entsprechen, werden in diesem Zeitraum übersprungen. Die Mindestzeit, die Sie festlegen können, beträgt 5 Minuten.

Benachrichtigungen mit dem Log-Explorer einrichten

  1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

    Zum Log-Explorer

  2. Klicken Sie auf den Umschalter Abfrage anzeigen.

    1. Wenn Sie eine Benachrichtigung für eine fehlgeschlagene Jobausführung einer beliebigen Dataplex Universal Catalog-Aufgabe in einem Projekt einrichten möchten, geben Sie die folgende Abfrage ein:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Wenn Sie eine Benachrichtigung für die fehlgeschlagene Ausführung eines bestimmten Dataplex Universal Catalog-Vorgangs in einem Projekt einrichten möchten, geben Sie die folgende Abfrage ein:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Klicken Sie auf Benachrichtigung erstellen.

  4. Geben Sie im Feld Name der Benachrichtigungsrichtlinie einen Namen für die neue Benachrichtigung ein.

  5. Geben Sie im Feld Dokumentation die Beschreibung ein, die in die Benachrichtigung aufgenommen werden soll. Weitere Informationen zum Inhalt, den Sie in das Dokumentationsfeld einer Benachrichtigungsrichtlinie einfügen können, finden Sie unter Markdown und Variablen in Dokumentationsvorlagen verwenden.

  6. Klicken Sie auf Weiter.

  7. Wählen Sie die Logs aus, die in die Benachrichtigung aufgenommen werden sollen, und klicken Sie auf Weiter.

  8. Legen Sie die Zeit zwischen Benachrichtigungen und die Dauer bis zur automatischen Schließung von Vorfällen fest und klicken Sie auf Weiter.

  9. Optional: Wählen Sie einen Benachrichtigungskanal aus. Weitere Informationen zum Konfigurieren von Benachrichtigungskanälen mit der Google Cloud Console finden Sie unter Benachrichtigungskanäle verwalten.

  10. Klicken Sie auf Speichern.

Benachrichtigungen mit der Monitoring API einrichten

  1. Optional: Aktivieren Sie die Monitoring API und autorisieren Sie Nutzer für den Zugriff darauf. Weitere Informationen finden Sie unter Monitoring API aktivieren.
  2. Optional: Legen Sie die Rollen oder Berechtigungen fest, die zum Erstellen einer Benachrichtigungsrichtlinie erforderlich sind. Weitere Informationen finden Sie unter Autorisierung zum Erstellen von Benachrichtigungsrichtlinien erforderlich.
  3. Erstellen Sie einen Benachrichtigungskanal mit der Google Cloud -Konsole oder der Google Cloud CLI.

  4. Rufen Sie die channel_id ab:

    gcloud beta monitoring channels list

  5. Erstellen Sie eine policy.json-Datei mit folgendem Inhalt für die richtlinienbasierte Benachrichtigung auf Grundlage von Logs:

    1. So richten Sie eine Benachrichtigung für eine fehlgeschlagene Jobausführung einer beliebigen Dataplex Universal Catalog-Aufgabe in einem Projekt ein:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. So richten Sie eine Benachrichtigung für eine fehlgeschlagene Jobausführung für eine bestimmte Dataplex Universal Catalog-Aufgabe in einem Projekt ein:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Übergeben Sie die Datei policy.json an die gcloud-Befehlszeile:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Bei Erfolg gibt dieser Befehl den Ressourcennamen der neuen Richtlinie zurück. Beispiel:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Nächste Schritte