학습 과정: 확장 가능한 애플리케이션 - 확장

커스텀 측정항목 수집 설정

기본 제공 Kubernetes CPU 및 메모리 측정항목을 사용하도록 수평형 포드 자동 확장 처리를 구성하거나 초당 HTTP 요청 수 또는 SELECT 문 수량과 같은 Cloud Monitoring의 커스텀 측정항목을 사용할 수 있습니다. 커스텀 측정항목은 애플리케이션 변경 없이 작동할 수 있으며, 애플리케이션이 애플리케이션의 전체 성능과 요구에 대한 더 많은 유용한 정보를 제공합니다. 이 튜토리얼에서는 기본 제공 측정항목과 커스텀 측정항목을 모두 사용하는 방법을 알아봅니다.

1. 수평형 포드 자동 확장 처리가 Monitoring에서 커스텀 측정항목을 읽을 수 있게 하려면 클러스터에 커스텀 측정항목 - Stackdriver 어댑터를 설치해야 합니다.

   커스텀 측정항목 Stackdriver 어댑터를 클러스터에 배포합니다.

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/k8s-stackdriver/master/custom-metrics-stackdriver-adapter/deploy/production/adapter.yaml
   

2. Stackdriver 어댑터가 클러스터에서 커스텀 측정항목을 가져올 수 있게 하려면 GKE용 워크로드 아이덴티티 제휴를 사용합니다. 이 방법에서는 모니터링 측정항목을 읽을 수 있는 권한이 있는 IAM 서비스 계정을 사용합니다.

   IAM 서비스 계정에 roles/monitoring.viewer 역할을 부여합니다.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member "serviceAccount:scalable-apps@PROJECT_ID.iam.gserviceaccount.com" \
       --role roles/monitoring.viewer
   

3. Stackdriver 어댑터에서 GKE용 워크로드 아이덴티티 제휴와 모니터링 측정항목을 읽을 수 있는 권한이 있는 IAM 서비스 계정을 사용하도록 구성합니다.

   gcloud iam service-accounts add-iam-policy-binding scalable-apps@PROJECT_ID.iam.gserviceaccount.com \
       --role roles/iam.workloadIdentityUser \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[custom-metrics/custom-metrics-stackdriver-adapter]"
   

4. Kubernetes에는 클러스터 내에서 액세스할 수 있는 서비스 계정을 위한 자체 시스템이 있습니다. 애플리케이션이 Monitoring과 같이 Google Kubernetes Engine Enterprise 버전 클러스터 외부에 있는 서비스와 리소스에 인증하게 하려면 GKE용 워크로드 아이덴티티 제휴를 사용합니다. 이 접근 방법은 GKE에 IAM 서비스 계정을 사용하도록 Kubernetes 서비스 계정을 구성합니다.

   어댑터에 사용되는 Kubernetes 서비스 계정에 주석을 추가합니다.

   kubectl annotate serviceaccount custom-metrics-stackdriver-adapter \
       --namespace=custom-metrics \
       iam.gke.io/gcp-service-account=scalable-apps@PROJECT_ID.iam.gserviceaccount.com
   

5. Stackdriver 어댑터 배포를 다시 시작하여 변경사항을 적용합니다.

   kubectl rollout restart deployment custom-metrics-stackdriver-adapter \
       --namespace=custom-metrics
   

수평형 포드 자동 확장 처리 구성

GKE Autopilot은 몇 가지 방식으로 확장할 수 있습니다. 이 튜토리얼에서는 다음 방법을 사용하여 클러스터를 확장하는 방법을 설명합니다.

• 수평형 포드 자동 확장 처리: 워크로드에 대해 포드 수를 확장합니다.
• 클러스터 자동 확장 처리: 클러스터에서 사용할 수 있는 노드 리소스를 확장합니다.

이 두 가지 방법이 함께 작동하여 애플리케이션의 포드 수가 변경되면 포드를 지원하는 노드 리소스도 변경됩니다.

수평형 포드 자동 확장 처리를 기반으로 빌드하는 포드를 확장하는 데 다른 구현을 사용할 수 있으며, 수직형 포드 자동 확장을 사용하여 포드 수 대신 포드의 CPU와 메모리 요청을 조정할 수도 있습니다.

이 튜토리얼에서는 기본 제공 측정항목을 사용하는 userservice 배포와 커스텀 측정항목을 사용하는 frontend 배포에 대한 수평형 포드 자동 확장 처리를 구성합니다.

자체 애플리케이션의 경우 애플리케이션 개발자 및 플랫폼 엔지니어와 협력하여 요구사항을 이해하고 수평형 포드 자동 확장 처리 규칙을 구성합니다.

userservice 배포 확장

Cymbal Bank 샘플 애플리케이션 사용자 수가 증가하면 userservice 서비스가 더 많은 CPU 리소스를 소비합니다. HorizontalPodAutoscaler 객체를 사용하여 애플리케이션이 로드에 응답하는 방법을 제어합니다. HorizontalPodAutoscaler의 YAML 매니페스트에서 수평형 포드 자동 확장 처리에 사용할 배포, 모니터링할 측정항목, 실행할 최소 및 최대 복제본 수를 정의합니다.

1. userservice 배포에 대해 HorizontalPodAutoscaler 샘플 매니페스트를 검토합니다.

   # Copyright 2022 Google LLC
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #      http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License.
   
   ---
   apiVersion: autoscaling/v2
   kind: HorizontalPodAutoscaler
   metadata:
     name: userservice
   spec:
     behavior:
       scaleUp:
         stabilizationWindowSeconds: 0
         policies:
           - type: Percent
             value: 100
             periodSeconds: 5
         selectPolicy: Max
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: userservice
     minReplicas: 5
     maxReplicas: 50
     metrics:
       - type: Resource
         resource:
           name: cpu
           target:
             type: Utilization
             averageUtilization: 60
   

   이 매니페스트는 다음을 수행합니다.

   • 50로 수직 확장하는 동안 최대 복제본 수를 설정합니다.
   • 5로 수직 축소하는 동안 최소 복제본 수를 설정합니다.
   • 기본 제공되는 Kubernetes 측정항목을 사용하여 확장 결정을 수행합니다. 이 샘플에서 측정항목은 CPU 활용률이고 목표 활용률은 초과 활용률 및 미만 활용률을 모두 방지하는 60%입니다.

2. 클러스터에 매니페스트를 적용합니다.

   kubectl apply -f extras/postgres-hpa/hpa/userservice.yaml
   

frontend 배포 확장

이전 섹션에서는 CPU 사용률에 대한 기본 제공되는 Kubernetes 측정항목을 기반으로 userservice 배포에서 수평형 포드 자동 확장 처리를 구성했습니다. frontend 배포의 경우 수신되는 HTTP 요청 수에 따라 대신 확장할 수 있습니다. 이 방법에서는 Stackdriver 어댑터를 사용하여 HTTP(S) 부하 분산기 인그레스 객체에 대해 Monitoring에서 커스텀 측정항목을 읽습니다.

1. frontend 배포에 대해 HorizontalPodAutoscaler 매니페스트를 검토합니다.

   # Copyright 2022 Google LLC
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #      http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License.
   
   ---
   apiVersion: autoscaling/v2
   kind: HorizontalPodAutoscaler
   metadata:
     name: frontend
   spec:
     behavior:
       scaleUp:
         stabilizationWindowSeconds: 0
         policies:
           - type: Percent
             value: 100
             periodSeconds: 5
         selectPolicy: Max
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: frontend
     minReplicas: 5
     maxReplicas: 25
     metrics:
       - type: External
         external:
           metric:
             name: loadbalancing.googleapis.com|https|request_count
             selector:
               matchLabels:
                 resource.labels.forwarding_rule_name: FORWARDING_RULE_NAME
           target:
             type: AverageValue
             averageValue: "5"
   

   이 매니페스트에는 다음 필드가 사용됩니다.

   • spec.scaleTargetRef: 확장할 Kubernetes 리소스입니다.
   • spec.minReplicas: 이 샘플의 경우 5에 해당하는 최소 복제본 수입니다.
   • spec.maxReplicas: 이 샘플의 경우 25에 해당하는 최대 복제본 수입니다.
   • spec.metrics.*: 사용할 측정항목입니다. 이 샘플에서는 배포한 어댑터로 제공되는 Monitoring의 커스텀 측정항목인 초당 HTTP 요청 수입니다.
   • spec.metrics.external.metric.selector.matchLabels: 확장 시 필터링할 특정 리소스 라벨입니다.

2. frontend 인그레스 부하 분산기에서 전달 규칙의 이름을 찾습니다.

   export FW_RULE=$(kubectl get ingress frontend -o=jsonpath='{.metadata.annotations.ingress\.kubernetes\.io/forwarding-rule}')
   echo $FW_RULE
   

   출력은 다음과 비슷합니다.

   k8s2-fr-j76hrtv4-default-frontend-wvvf7381
   

3. 매니페스트에 전달 규칙을 추가합니다.

   sed -i "s/FORWARDING_RULE_NAME/$FW_RULE/g" "extras/postgres-hpa/hpa/frontend.yaml"
   

   이 명령어는 FORWARDING_RULE_NAME을 저장된 전달 규칙으로 바꿉니다.

4. 클러스터에 매니페스트를 적용합니다.

   kubectl apply -f extras/postgres-hpa/hpa/frontend.yaml
   

부하 시뮬레이션

이 섹션에서는 부하 생성기를 사용하여 트래픽 급증을 시뮬레이션하고 시간에 따라 부하 증가를 수용하기 위해 복제본 수 및 노드 수 수직 확장을 관찰합니다. 그런 후 트래픽 생성을 중지하고 응답에서 복제본 및 노드 수 축소를 관찰할 수 있습니다.

1. 시작하기 전에 수평형 포드 자동 확장 처리의 상태를 확인하고 사용 중인 복제본 수를 확인합니다.

   HorizontalPodAutoscaler 리소스 상태를 가져옵니다.

   kubectl get hpa
   

   출력은 다음과 비슷합니다. frontend 복제본 1개와 userservice 복제본 5개가 있습니다.

   NAME                     REFERENCE                            TARGETS             MINPODS   MAXPODS   REPLICAS   AGE
   frontend                 Deployment/frontend                  <unknown>/5 (avg)   5         25        1          34s
   userservice              Deployment/userservice               0%/60%              5         50        5          4m56s
   

2. Cymbal Bank 샘플 애플리케이션에는 loadgenerator 서비스가 포함되어 있습니다. 이 서비스는 계속해서 사용자를 모방하는 요청을 프런트엔드로 전송하고 주기적으로 새 계정을 만들고 계정 간의 트랜잭션을 시뮬레이션합니다.

   loadgenerator 웹 인터페이스를 로컬로 노출합니다. 이 인터페이스를 사용하여 Cymbal Bank 샘플 애플리케이션의 부하를 시뮬레이션합니다.

   kubectl port-forward svc/loadgenerator 8080
   

   오류 메시지가 표시되면 포드가 실행될 때 다시 시도합니다.

3. 컴퓨터의 브라우저에서 부하 생성기 웹 인터페이스를 엽니다.

   • 로컬 셸을 사용하는 경우 브라우저를 열고 http://127.0.0.1:8080으로 이동합니다.
   • Cloud Shell을 사용하는 경우 preview 웹 미리보기를 클릭한 후 포트 8080에서 미리보기를 클릭합니다.

4. 부하 생성기 웹 인터페이스에서 실패 값에 100%가 표시되면 다음 단계를 완료하여 테스트 설정을 업데이트합니다.

   1. 실패율 카운터 옆에 있는 중지 버튼을 클릭합니다.
   2. 상태에서 새 테스트 옵션을 클릭합니다.
   3. 호스트 값을 Cymbal Bank 인그레스의 IP 주소로 업데이트합니다.
   4. 생성 시작을 클릭합니다.

5. 부하 생성기 웹 인터페이스에서 차트 탭을 클릭하여 시간 경과에 따른 성능을 관측합니다. 요청 수와 리소스 사용률을 확인합니다.

6. 새 터미널 창을 열고 frontend 및 userservice 포드의 복제본 수를 확인합니다.

   kubectl get hpa -w
   

   부하가 증가하면 복제본 수가 증가합니다. 클러스터가 구성된 측정항목이 정의된 기준점에 도달함을 인식하고 수평형 포드 자동 확장 처리를 사용하여 포드 수를 수직 확장하므로 scaleUp 작업은 약 10분 정도 걸릴 수 있습니다.

   다음 출력 예시는 부하 생성기가 실행될 때 복제본 수가 증가했음을 보여줍니다.

   NAME                     REFERENCE                            TARGETS          MINPODS   MAXPODS   REPLICAS
   frontend                 Deployment/frontend                  5200m/5 (avg)    5         25        13
   userservice              Deployment/userservice               71%/60%          5         50        17
   

7. 다른 터미널 창을 열고 클러스터에서 노드 수를 확인합니다.

   gcloud container clusters list \
       --filter='name=scalable-apps' \
       --format='table(name, currentMasterVersion, currentNodeVersion, currentNodeCount)' \
       --region="REGION"
   

   REGION을 클러스터가 실행되는 리전으로 바꿉니다.

   새로운 복제본을 수용하기 위해 시작 수량에서 노드 수도 증가합니다. 이러한 노드 수 증가는 GKE Autopilot으로 구동됩니다. 이 노드 확장에는 구성할 것이 없습니다.

8. 부하 생성기 인터페이스를 열고 중지를 클릭하여 테스트를 종료합니다.

9. 복제본 수와 노드 수를 다시 확인하고 부하 감소에 따른 숫자 감소를 확인합니다. Kubernetes HorizontalPodAutoscaler 리소스의 복제본에 대한 기본 안정화 기간이 5분이기 때문에 축소하는 데 시간이 약간 걸릴 수 있습니다.

실제 환경에서는 이 환경의 노드 수와 포드 수가 모두 시뮬레이션된 부하와 동일한 방식으로 자동으로 수직 확장 및 축소됩니다. Cymbal Bank 샘플 애플리케이션은 이러한 종류의 확장을 수용하도록 설계되었습니다. 앱 운영자와 사이트 안정성 엔지니어링(SRE) 또는 애플리케이션 개발자에게 문의하여 워크로드가 이러한 확장 기능을 활용할 수 있는지 확인하세요.