Dataplex 태스크에 대한 경고 및 알림 설정

이 페이지에서는 Dataplex 태스크의 실패한 작업 실행에 대한 알림을 설정하는 방법을 설명합니다.

알림을 설정하려면 Google Cloud 콘솔의 로그 탐색기 또는 Monitoring API를 사용하면 됩니다.

용어

  • 이슈 자동 종료 기간: 일치하는 로그 항목이 없을 때 이슈가 닫힐 때까지 걸리는 기간입니다.
  • 알림 시간 간격: 필터와 일치하는 로그에 대한 알림이 수신되는 최소 시간 간격입니다. 최소 시간 내에서는 일치하는 로그를 건너뜁니다. 설정 가능한 최소 시간은 5분입니다.

로그 탐색기를 사용하여 알림 설정

  1. Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

    로그 탐색기로 이동

  2. 쿼리 표시 전환을 클릭합니다.

    1. 프로젝트에서 모든 Dataplex 태스크의 실패한 작업 실행에 대한 알림을 설정하려면 다음 쿼리를 입력합니다.

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. 프로젝트에서 특정 Dataplex 태스크의 실패한 작업 실행에 대한 알림을 설정하려면 다음 쿼리를 입력합니다.

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. 알림 만들기를 클릭합니다.

  4. 알림 정책 이름 필드에 새 알림의 이름을 입력합니다.

  5. 문서 필드에 알림에 포함할 설명을 입력합니다. 알림 정책의 문서 필드에 포함할 수 있는 콘텐츠에 대한 자세한 내용은 문서 템플릿에서 마크다운 및 변수 사용을 참조하세요.

  6. 다음을 클릭합니다.

  7. 알림에 포함할 로그를 선택하고 다음을 클릭합니다.

  8. 알림 시간 간격 및 이슈 자동 종료 기간을 설정하고 다음을 클릭합니다.

  9. 선택사항: 알림 채널을 선택합니다. Google Cloud 콘솔을 사용하여 알림 채널을 구성하는 방법에 대한 자세한 내용은 알림 채널 관리를 참조하세요.

  10. 저장을 클릭합니다.

Monitoring API를 사용하여 알림 설정

  1. 선택사항: Monitoring API를 사용 설정하고 사용자가 액세스할 수 있도록 승인합니다. 자세한 내용은 Monitoring API 사용 설정을 참고하세요.
  2. 선택사항: 알림 정책을 만드는 데 필요한 역할 또는 권한을 설정합니다. 자세한 내용은 알림 정책을 만드는 데 필요한 승인을 참고하세요.
  3. Google Cloud 콘솔 또는 Google Cloud CLI를 사용하여 알림 채널을 만듭니다.

  4. channel_id를 가져옵니다. 

    gcloud beta monitoring channels list

  5. log-based-alerting-policy에 다음 내용을 포함하는 policy.json 파일을 만듭니다.

    1. 프로젝트에서 모든 Dataplex 태스크의 실패한 작업 실행에 대한 알림을 설정합니다.

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. 프로젝트에서 특정 Dataplex 태스크의 실패한 작업 실행에 대한 알림을 설정합니다.

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. policy.json 파일을 gcloud CLI에 전달합니다.

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    성공할 경우 이 명령어는 새 정책의 리소스 이름을 반환합니다. 예를 들면 다음과 같습니다.

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

다음 단계