클러스터 자동 확장 처리 이벤트 보기

이 페이지에서는 Google Kubernetes Engine(GKE)의 클러스터 자동 확장 처리에서 내보내는 공개 상태 이벤트에 대한 정보를 제공합니다. 이러한 이벤트를 분석하면 클러스터 자동 확장 처리가 클러스터의 확장을 관리하는 방식을 확인하고 결정의 이유를 이해할 수 있습니다.

GKE 클러스터 자동 확장 처리는 Cloud Logging에서 로그 항목으로 사용할 수 있는 공개 상태 이벤트를 발생시킵니다. 이 가이드에서 설명하는 이벤트는 클러스터 자동 확장 처리에서 생성된 Kubernetes 이벤트와 별개입니다.

요구사항

자동 확장 처리 이벤트를 보려면 클러스터에서 Cloud Logging을 사용 설정해야 합니다. Logging이 중지되면 이벤트가 생성되지 않습니다.

이벤트 보기

클러스터 자동 확장 처리의 공개 상태 이벤트는 GKE 클러스터가 있는 프로젝트와 동일한 프로젝트의 Cloud Logging 로그에 저장됩니다. Google Cloud 콘솔의 Google Kubernetes Engine 페이지에 있는 알림에서도 이러한 이벤트를 볼 수 있습니다.

공개 상태 이벤트 로그 보기

로그를 보려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Kubernetes 클러스터 페이지로 이동합니다.

   Kubernetes 클러스터로 이동

2. 클러스터 세부정보 페이지를 볼 클러스터 이름을 선택합니다.

3. 클러스터 세부정보 페이지에서 로그 탭을 클릭합니다.

4. 로그 탭에서 자동 확장 처리 로그 탭을 클릭하여 로그를 봅니다.

5. (선택사항) 고급 필터를 적용하여 결과의 범위를 좁히려면 페이지 오른쪽의 화살표가 있는 버튼을 클릭하여 로그 탐색기에서 로그를 봅니다.

공개 상태 이벤트 알림 보기

Google Kubernetes Engine 페이지에서 공개 상태 이벤트 알림을 보려면 다음을 수행합니다.

1. Google Cloud 콘솔에서 Google Kubernetes Engine 페이지로 이동합니다.

   Google Kubernetes Engine으로 이동

2. 확장과 관련된 알림을 찾으려면 특정 클러스터의 알림 열을 확인하세요.

3. 알림을 클릭하여 자세한 정보, 권장 작업을 확인하고 이 이벤트의 로그에 액세스합니다.

이벤트 유형

로깅된 모든 이벤트는 JSON 형식이며, 로그 항목의 jsonPayload 필드에서 찾을 수 있습니다. 이벤트의 모든 타임스탬프는 UNIX 초 타임스탬프입니다.

다음은 클러스터 자동 확장 처리에서 발생시킨 이벤트 유형을 요약한 것입니다.

상태 이벤트

status 이벤트는 주기적으로 발생하며, 자동 확장된 모든 노드 풀의 실제 크기와 클러스터 자동 확장 처리에서 관찰되는 자동 확장된 모든 노드 풀의 대상 크기를 설명합니다.

예

다음 로그 샘플은 status 이벤트를 보여줍니다.

{
  "status": {
    "autoscaledNodesCount": 4,
    "autoscaledNodesTarget": 4,
    "measureTime": "1582898536"
  }
}

scaleUp 이벤트

scaleUp 이벤트는 클러스터 자동 확장 처리가 클러스터를 확장할 때 발생합니다. 자동 확장 처리는 노드 풀의 기본 관리형 인스턴스 그룹(MIG)을 확장하여 클러스터의 노드 풀 크기를 확장합니다. 수직 확장 작동 방식에 대한 자세한 내용은 Kubernetes 클러스터 자동 확장 처리 FAQ에서 수직 확장 작동 방식을 참조하세요.

이벤트에는 확장된 MIG, 노드 수, 이벤트를 트리거한 예약할 수 없는 포드에 대한 정보가 포함되어 있습니다.

트리거하는 Pod 목록은 50개의 임의 항목으로 잘립니다. 트리거하는 Pod의 실제 개수는 triggeringPodsTotalCount 필드에서 찾을 수 있습니다.

예

다음 로그 샘플은 scaleUp 이벤트를 보여줍니다.

{
  "decision": {
    "decideTime": "1582124907",
    "eventId": "ed5cb16d-b06f-457c-a46d-f75dcca1f1ee",
    "scaleUp": {
      "increasedMigs": [
        {
          "mig": {
            "name": "test-cluster-default-pool-a0c72690-grp",
            "nodepool": "default-pool",
            "zone": "us-central1-c"
          },
          "requestedNodes": 1
        }
      ],
      "triggeringPods": [
        {
          "controller": {
            "apiVersion": "apps/v1",
            "kind": "ReplicaSet",
            "name": "test-85958b848b"
          },
          "name": "test-85958b848b-ptc7n",
          "namespace": "default"
        }
      ],
      "triggeringPodsTotalCount": 1
    }
  }
}

scaleDown 이벤트

scaleDown 이벤트는 클러스터 자동 확장 처리가 클러스터를 축소할 때 발생합니다. 축소 작동 방식에 대한 자세한 내용은 Kubernetes 클러스터 자동 확장 처리 FAQ에서 축소 작동 방식을 참조하세요.

cpuRatio 및 memRatio 필드는 노드의 CPU 및 메모리 사용률을 백분율로 설명합니다. 이 사용률은 Pod 요청의 합계를 실제 사용률이 아닌 할당 가능한 노드로 나눈 값입니다.

제거된 Pod 목록은 50개의 임의 항목으로 잘립니다. 제거된 Pod의 실제 개수는 evictedPodsTotalCount 필드에서 찾을 수 있습니다.

다음 쿼리를 사용하여 클러스터 자동 확장 처리가 노드를 축소했는지 확인합니다.

resource.type="k8s_cluster" \
resource.labels.location=COMPUTE_REGION \
resource.labels.cluster_name=CLUSTER_NAME \
log_id("container.googleapis.com/cluster-autoscaler-visibility") \
( "decision" NOT "noDecisionStatus" )

다음을 바꿉니다.

• CLUSTER_NAME: 클러스터의 이름

• COMPUTE_REGION: 클러스터의 Compute Engine 리전(예: us-central1)

예

다음 로그 샘플은 scaleDown 이벤트를 보여줍니다.

{
  "decision": {
    "decideTime": "1580594665",
    "eventId": "340dac18-8152-46ff-b79a-747f70854c81",
    "scaleDown": {
      "nodesToBeRemoved": [
        {
          "evictedPods": [
            {
              "controller": {
                "apiVersion": "apps/v1",
                "kind": "ReplicaSet",
                "name": "kube-dns-5c44c7b6b6"
              },
              "name": "kube-dns-5c44c7b6b6-xvpbk"
            }
          ],
          "evictedPodsTotalCount": 1,
          "node": {
            "cpuRatio": 23,
            "memRatio": 5,
            "mig": {
              "name": "test-cluster-default-pool-c47ef39f-grp",
              "nodepool": "default-pool",
              "zone": "us-central1-f"
            },
            "name": "test-cluster-default-pool-c47ef39f-p395"
          }
        }
      ]
    }
  }
}

또한 실행 중인 워크로드가 없는 노드에서도 scale-down 이벤트를 볼 수 있습니다(일반적으로 DaemonSet에서 만든 시스템 포드만).

다음 쿼리를 사용하여 이벤트 로그를 확인합니다.

resource.type="k8s_cluster" \
resource.labels.project_id=PROJECT_ID \
resource.labels.location=COMPUTE_REGION \
resource.labels.cluster_name=CLUSTER_NAME \
severity>=DEFAULT \
logName="projects/PROJECT_ID/logs/events" \
("Scale-down: removing empty node")

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID

• CLUSTER_NAME: 클러스터의 이름

• COMPUTE_REGION: 클러스터의 Compute Engine 리전(예: us-central1)

eventResult 이벤트

eventResult 이벤트는 scaleUp 또는 scaleDown 이벤트가 성공적으로 완료되거나 실패할 때 발생합니다. 이 이벤트에는 오류 메시지와 함께 scaleUp 또는 scaleDown 이벤트 eventId 필드에 있는 이벤트 ID 목록이 포함되어 있습니다. 빈 오류 메시지는 이벤트가 성공적으로 완료되었음을 나타냅니다. eventResult 이벤트 목록은 results 필드에 집계됩니다.

오류를 진단하려면 ScaleUp 오류 및 ScaleDown 오류 섹션을 참조하세요.

예

다음 로그 샘플은 eventResult 이벤트를 보여줍니다.

{
  "resultInfo": {
    "measureTime": "1582878896",
    "results": [
      {
        "eventId": "2fca91cd-7345-47fc-9770-838e05e28b17"
      },
      {
        "errorMsg": {
          "messageId": "scale.down.error.failed.to.delete.node.min.size.reached",
          "parameters": [
            "test-cluster-default-pool-5c90f485-nk80"
          ]
        },
        "eventId": "ea2e964c-49b8-4cd7-8fa9-fefb0827f9a6"
      }
    ]
  }
}

nodePoolCreated 이벤트

nodePoolCreated 이벤트는 노드 자동 프로비저닝이 사용 설정된 클러스터 자동 확장 처리가 새 노드 풀을 만들 때 발생합니다. 이 이벤트에는 생성된 노드 풀의 이름과 해당 기본 MIG 목록이 포함되어 있습니다. scaleUp 이벤트로 인해 노드 풀이 생성된 경우 해당 scaleUp 이벤트의 eventId가 triggeringScaleUpId 필드에 포함됩니다.

예

다음 로그 샘플은 nodePoolCreated 이벤트를 보여줍니다.

{
  "decision": {
    "decideTime": "1585838544",
    "eventId": "822d272c-f4f3-44cf-9326-9cad79c58718",
    "nodePoolCreated": {
      "nodePools": [
        {
          "migs": [
            {
              "name": "test-cluster-nap-n1-standard--b4fcc348-grp",
              "nodepool": "nap-n1-standard-1-1kwag2qv",
              "zone": "us-central1-f"
            },
            {
              "name": "test-cluster-nap-n1-standard--jfla8215-grp",
              "nodepool": "nap-n1-standard-1-1kwag2qv",
              "zone": "us-central1-c"
            }
          ],
          "name": "nap-n1-standard-1-1kwag2qv"
        }
      ],
      "triggeringScaleUpId": "d25e0e6e-25e3-4755-98eb-49b38e54a728"
    }
  }
}

nodePoolDeleted 이벤트

nodePoolDeleted 이벤트는 노드 자동 프로비저닝이 사용 설정된 클러스터 자동 확장 처리가 노드 풀을 삭제할 때 발생합니다.

예

다음 로그 샘플은 nodePoolDeleted 이벤트를 보여줍니다.

{
  "decision": {
    "decideTime": "1585830461",
    "eventId": "68b0d1c7-b684-4542-bc19-f030922fb820",
    "nodePoolDeleted": {
      "nodePoolNames": [
        "nap-n1-highcpu-8-ydj4ewil"
      ]
    }
  }
}

noScaleUp 이벤트

noScaleUp 이벤트는 클러스터에 예약할 수 없는 Pod가 있고 클러스터 자동 확장 처리가 Pod를 수용하도록 클러스터를 확장할 수 없을 때 주기적으로 발생합니다.

• noScaleUp 이벤트는 최선의 방법입니다. 즉, 이러한 이벤트는 클러스터 자동 확장 처리가 확장할 수 없는 가능한 모든 이유를 포괄하지 않습니다.
• noScaleUp 이벤트는 생성된 로그 볼륨을 제한하도록 제한됩니다. 지속되는 각 이유는 몇 분마다 발생합니다.
• 모든 이유는 여러 이벤트에 임의로 분할될 수 있습니다. 예를 들어 단일 Pod 그룹의 거부된 모든 MIG 이유가 동일한 이벤트에 나타난다는 보장은 없습니다.
• 처리되지 않은 Pod 그룹 목록은 50개의 임의 항목으로 잘립니다. 처리되지 않은 Pod 그룹의 실제 개수는 unhandledPodGroupsTotalCount 필드에서 찾을 수 있습니다.

이유 필드

다음 필드는 확장이 발생하지 않은 이유를 설명하는 데 도움이 됩니다.

• reason: 클러스터 자동 확장 처리가 확장되지 않는 전역 이유를 제공합니다. 자세한 내용은 noScaleUp 최상위 수준 이유 섹션을 참조하세요.
• napFailureReason: 클러스터 자동 확장 처리가 추가 노드 풀을 프로비저닝하지 못하도록 하는 전역 이유를 제공합니다(예: 노드 자동 프로비저닝이 사용 중지됨). 자세한 내용은 noScaleUp 최상위 수준 노드 자동 프로비저닝 이유 섹션을 참조하세요.
• skippedMigs[].reason: 특정 MIG를 건너뛴 이유에 대한 정보를 제공합니다. 클러스터 자동 확장 처리는 확장 시도 도중 Pod 고려 대상에서 일부 MIG를 건너뜁니다(예: 노드를 하나 더 추가하면 클러스터 전체 리소스 한도를 초과하기 때문에). 자세한 내용은 noScaleUp MIG 수준 이유 섹션을 참조하세요.
• unhandledPodGroups: 예약할 수 없는 특정 Pod 그룹이 확장을 트리거하지 않는 이유에 대한 정보가 포함되어 있습니다. Pod는 직접 실행 컨트롤러별로 그룹화됩니다. 컨트롤러가 없는 Pod는 그 자체로 그룹에 속합니다. 각 Pod 그룹에는 임의의 예시 Pod와 그룹의 Pod 수뿐 아니라 다음과 같은 이유가 포함되어 있습니다.
  • napFailureReasons: 클러스터 자동 확장 처리가 이 Pod 그룹을 수용하기 위해 새 노드 풀을 프로비저닝할 수 없는 이유(예: Pod에 어피니티 제약조건이 있음). 자세한 내용은 noScaleUp 포드 수준 노드 자동 프로비저닝 이유 섹션을 참조하세요.
  • rejectedMigs[].reason: 클러스터 자동 확장 처리가 이 Pod 그룹을 수용하기 위해 특정 MIG의 크기를 늘릴 수 없는 MIG별 이유(예: MIG의 노드가 Pod에 비해 너무 작음). 자세한 내용은 noScaleUp MIG 수준 이유 섹션을 참조하세요.

예

다음 로그 샘플은 noScaleUp 이벤트를 보여줍니다.

{
  "noDecisionStatus": {
    "measureTime": "1582523362",
    "noScaleUp": {
      "skippedMigs": [
        {
          "mig": {
            "name": "test-cluster-nap-n1-highmem-4-fbdca585-grp",
            "nodepool": "nap-n1-highmem-4-1cywzhvf",
            "zone": "us-central1-f"
          },
          "reason": {
            "messageId": "no.scale.up.mig.skipped",
            "parameters": [
              "max cluster cpu limit reached"
            ]
          }
        }
      ],
      "unhandledPodGroups": [
        {
          "napFailureReasons": [
            {
              "messageId": "no.scale.up.nap.pod.zonal.resources.exceeded",
              "parameters": [
                "us-central1-f"
              ]
            }
          ],
          "podGroup": {
            "samplePod": {
              "controller": {
                "apiVersion": "v1",
                "kind": "ReplicationController",
                "name": "memory-reservation2"
              },
              "name": "memory-reservation2-6zg8m",
              "namespace": "autoscaling-1661"
            },
            "totalPodCount": 1
          },
          "rejectedMigs": [
            {
              "mig": {
                "name": "test-cluster-default-pool-b1808ff9-grp",
                "nodepool": "default-pool",
                "zone": "us-central1-f"
              },
              "reason": {
                "messageId": "no.scale.up.mig.failing.predicate",
                "parameters": [
                  "NodeResourcesFit",
                  "Insufficient memory"
                ]
              }
            }
          ]
        }
      ],
      "unhandledPodGroupsTotalCount": 1
    }
  }
}

noScaleDown 이벤트

noScaleDown 이벤트는 클러스터 자동 확장 처리에 의한 삭제가 차단된 노드가 있을 때 주기적으로 발생합니다.

• 사용률이 높기 때문에 제거할 수 없는 노드는 noScaleDown 이벤트에 포함되지 않습니다.
• noScaleDown 이벤트는 최선의 방법입니다. 즉, 이러한 이벤트는 클러스터 자동 확장 처리가 축소할 수 없는 가능한 모든 이유를 포괄하지 않습니다.
• noScaleDown 이벤트는 생성된 로그 볼륨을 제한하도록 제한됩니다. 지속되는 각 이유는 몇 분마다 발생합니다.
• 노드 목록은 50개의 임의 항목으로 잘립니다. 실제 노드 수는 nodesTotalCount 필드에서 찾을 수 있습니다.

이유 필드

다음 필드는 축소가 발생하지 않은 이유를 설명하는 데 도움이 됩니다.

• reason: 클러스터 자동 확장 처리가 축소되지 않는 전역 이유를 제공합니다(예: 최근 확장 후 백오프 기간). 자세한 내용은 noScaleDown 최상위 수준 이유 섹션을 참조하세요.
• nodes[].reason: 클러스터 자동 확장 처리가 특정 노드를 삭제할 수 없는 노드별 이유를 제공합니다(예: 노드의 Pod를 이동할 위치가 없음). 자세한 내용은 noScaleDown 노드 수준 이유 섹션을 참조하세요.

예

다음 로그 샘플은 noScaleDown 이벤트를 보여줍니다.

{
  "noDecisionStatus": {
    "measureTime": "1582858723",
    "noScaleDown": {
      "nodes": [
        {
          "node": {
            "cpuRatio": 42,
            "mig": {
              "name": "test-cluster-default-pool-f74c1617-grp",
              "nodepool": "default-pool",
              "zone": "us-central1-c"
            },
            "name": "test-cluster-default-pool-f74c1617-fbhk"
          },
          "reason": {
            "messageId": "no.scale.down.node.no.place.to.move.pods"
          }
        }
      ],
      "nodesTotalCount": 1,
      "reason": {
        "messageId": "no.scale.down.in.backoff"
      }
    }
  }
}

메시지

클러스터 자동 확장 처리가 발생시킨 이벤트는 매개변수화된 메시지를 사용하여 이벤트에 대한 설명을 제공합니다. 이 NoScaleUp 이벤트 예시 로그에서와 같이 parameters 필드는 messageId 필드와 함께 사용할 수 있습니다.

이 섹션에서는 다양한 messageId 및 해당 매개변수에 대한 설명을 제공합니다. 하지만 가능한 모든 메시지가 이 섹션에 포함되지는 않으며 언제든지 확장될 수 있습니다.

scaleUp 오류

scaleUp 이벤트의 이벤트 오류 메시지는 해당 eventResult 이벤트의 resultInfo.results[].errorMsg 필드에 있습니다.

noScaleUp 이벤트의 이유

noScaleUp 이벤트는 클러스터에 예약할 수 없는 포드가 있고 클러스터 자동 확장 처리가 포드를 예약하도록 클러스터를 확장할 수 없을 때 주기적으로 발생합니다. noScaleUp 이벤트는 최선의 방법이며 가능한 모든 사례를 포괄하지는 않습니다.

NoScaleUp 최상위 수준 이유

noScaleUp 이벤트의 최상위 수준 이유 메시지는 noDecisionStatus.noScaleUp.reason 필드에 표시됩니다. 메시지에는 클러스터 자동 확장 처리가 클러스터를 확장할 수 없는 최상위 수준 이유가 포함되어 있습니다.

noScaleUp 최상위 수준 노드 자동 프로비저닝 이유

noScaleUp 이벤트의 최상위 수준 노드 자동 프로비저닝 이유 메시지는 noDecisionStatus.noScaleUp.napFailureReason 필드에 표시됩니다. 메시지에는 클러스터 자동 확장 처리가 새 노드 풀을 프로비저닝할 수 없는 최상위 수준 이유가 포함되어 있습니다.

noScaleUp MIG 수준 이유

noScaleUp 이벤트의 MIG 수준 이유 메시지는 noDecisionStatus.noScaleUp.skippedMigs[].reason 및 noDecisionStatus.noScaleUp.unhandledPodGroups[].rejectedMigs[].reason 필드에 표시됩니다. 메시지에는 클러스터 자동 확장 처리가 특정 MIG의 크기를 늘릴 수 없는 이유가 포함되어 있습니다.

noScaleUp Pod 그룹 수준 노드 자동 프로비저닝 이유

noScaleUp 이벤트의 포드 그룹 수준 노드 자동 프로비저닝 이유 메시지는 noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[] 필드에 표시됩니다. 메시지에는 클러스터 자동 확장 처리가 특정 포드 그룹을 예약하기 위해 새 노드 풀을 프로비저닝할 수 없는 이유가 포함되어 있습니다.

scaleDown 오류

scaleDown 이벤트의 오류 이벤트 메시지는 해당 eventResult 이벤트의 resultInfo.results[].errorMsg 필드에 있습니다.

noScaleDown 이벤트의 이유

noScaleDown 이벤트는 클러스터 자동 확장 처리에 의한 삭제가 차단된 노드가 있을 때 주기적으로 발생합니다. noScaleDown 이벤트는 최선의 방법이며 가능한 모든 사례를 포괄하지는 않습니다.

NoScaleDown 최상위 수준 이유

noScaleDown 이벤트의 최상위 수준 이유 메시지는 noDecisionStatus.noScaleDown.reason 필드에 표시됩니다. 메시지에는 클러스터 자동 확장 처리가 클러스터를 축소할 수 없는 최상위 수준 이유가 포함되어 있습니다.

noScaleDown 노드 수준 이유

noScaleDown 이벤트의 노드 수준 이유 메시지는 noDecisionStatus.noScaleDown.nodes[].reason field에 표시됩니다. 메시지에는 클러스터 자동 확장 처리가 특정 노드를 삭제할 수 없는 이유가 포함되어 있습니다.

다음 단계

• 클러스터 자동 확장 처리 자세히 알아보기
• 노드 자동 프로비저닝 사용 방법 알아보기
• 클러스터 자동 확장 처리가 축소되지 않는 문제 해결
• 클러스터 자동 확장 처리가 확장되지 않는 문제 해결
• 문제 해결 및 확장 문제 해결에 관한 YouTube 동영상 보기