DaemonSet으로 GKE 노드를 자동으로 부트스트랩

환경 부트스트랩

이 섹션에서는 다음과 같은 작업을 수행하게 됩니다.

1. 필요한 Cloud API를 사용 설정합니다.
2. GKE 클러스터의 노드에 대해 제한된 권한을 가진 서비스 계정을 프로비저닝합니다.
3. GKE 클러스터를 준비합니다.
4. 사용자 클러스터 관리 권한을 부여합니다.

Cloud API 사용 설정

1. Cloud Shell을 엽니다.

   Cloud Shell 열기

2. Google Cloud 프로젝트를 선택합니다.

   gcloud config set project project-id
   

   이 튜토리얼용으로 만들거나 선택한 Google Cloud 프로젝트의 ID로 project-id를 바꿉니다.

3. Google Kubernetes Engine API를 사용 설정합니다.

   gcloud services enable container.googleapis.com
   

GKE 클러스터를 관리하기 위한 서비스 계정 프로비저닝

이 섹션에서는 클러스터의 노드와 연결된 서비스 계정을 만듭니다. 이 가이드에서 GKE 노드는 기본 서비스 계정 대신 이 서비스 계정을 사용합니다. 애플리케이션을 실행하는 데 필요한 역할과 액세스 권한을 서비스 계정에 부여하는 것이 가장 좋습니다.

서비스 계정에 필요한 역할은 다음과 같습니다.

• 모니터링 뷰어 역할(roles/monitoring.viewer): 이 역할은 Cloud Monitoring 콘솔 및 API에 대한 읽기 전용 액세스 권한을 제공합니다.
• 모니터링 측정항목 작성자 역할(roles/monitoring.metricWriter): 이 역할은 모니터링 데이터 쓰기를 허용합니다.
• 로그 작성자 역할(roles/logging.logWriter): 이 역할은 로그를 작성하는 데 필요한 권한만 부여합니다.
• 서비스 계정 사용자 역할(roles/iam.serviceAccountUser): 이 역할은 프로젝트의 서비스 계정에 대한 액세스 권한을 부여합니다. 이 가이드에서 초기화 절차는 권한 있는 작업을 실행하기 위해 서비스 계정을 가장합니다.
• Compute 관리자 역할(roles/compute.admin): 이 역할은 모든 Compute Engine 리소스를 관리할 수 있는 전체 권한을 제공합니다 이 가이드에서 클러스터 노드에 추가 디스크를 연결하려면 서비스 계정에 이 역할이 필요합니다.

서비스 계정을 프로비저닝하려면 다음 단계를 따르세요.

1. Cloud Shell에서 서비스 계정 이름을 저장할 환경 변수를 초기화합니다.

   GKE_SERVICE_ACCOUNT_NAME=ds-init-tutorial-gke
   

2. 서비스 계정을 만듭니다.

   gcloud iam service-accounts create "$GKE_SERVICE_ACCOUNT_NAME" \
     --display-name="$GKE_SERVICE_ACCOUNT_NAME"
   

3. 서비스 계정 이메일 계정 이름을 저장할 환경 변수를 초기화합니다.

   GKE_SERVICE_ACCOUNT_EMAIL="$(gcloud iam service-accounts list \
       --format='value(email)' \
       --filter=displayName:"$GKE_SERVICE_ACCOUNT_NAME")"
   

4. Identity and Access Management(IAM) 역할을 서비스 계정에 결합합니다.

   gcloud projects add-iam-policy-binding \
       "$(gcloud config get-value project 2> /dev/null)" \
       --member serviceAccount:"$GKE_SERVICE_ACCOUNT_EMAIL" \
       --role roles/compute.admin
   gcloud projects add-iam-policy-binding \
       "$(gcloud config get-value project 2> /dev/null)" \
       --member serviceAccount:"$GKE_SERVICE_ACCOUNT_EMAIL" \
       --role roles/monitoring.viewer
   gcloud projects add-iam-policy-binding \
       "$(gcloud config get-value project 2> /dev/null)" \
       --member serviceAccount:"$GKE_SERVICE_ACCOUNT_EMAIL" \
       --role roles/monitoring.metricWriter
   gcloud projects add-iam-policy-binding \
       "$(gcloud config get-value project 2> /dev/null)" \
       --member serviceAccount:"$GKE_SERVICE_ACCOUNT_EMAIL" \
       --role roles/logging.logWriter
   gcloud projects add-iam-policy-binding \
       "$(gcloud config get-value project 2> /dev/null)" \
       --member serviceAccount:"$GKE_SERVICE_ACCOUNT_EMAIL" \
       --role roles/iam.serviceAccountUser
   

GKE 클러스터 준비

이 섹션에서는 GKE 클러스터를 실행하고, 권한을 부여하고, 클러스터 구성을 완료합니다.

이 튜토리얼에서는 비교적 적은 수의 작은 범용 노드가 있는 클러스터만으로도 이 튜토리얼의 개념을 보여줄 수 있습니다. 한 개의 노드 풀(기본값)로 클러스터를 만듭니다. 그런 다음 기본 노드 풀의 모든 노드에 default-init 라벨을 지정합니다.

• Cloud Shell에서 리전 GKE 클러스터를 만들고 실행합니다.

  gcloud container clusters create ds-init-tutorial \
      --enable-ip-alias \
      --image-type=ubuntu_containerd \
      --machine-type=n1-standard-2 \
      --metadata disable-legacy-endpoints=true \
      --node-labels=app=default-init \
      --node-locations us-central1-a,us-central1-b,us-central1-c \
      --no-enable-basic-auth \
      --no-issue-client-certificate \
      --num-nodes=1 \
      --region us-central1 \
      --service-account="$GKE_SERVICE_ACCOUNT_EMAIL"
  

DaemonSet 배포

이 섹션에서는 다음과 같은 작업을 수행하게 됩니다.

1. 초기화 절차를 저장할 ConfigMap을 만듭니다.
2. 초기화 절차를 예약하고 실행할 DaemonSet를 배포합니다.

DaemonSet는 다음을 수행합니다.

1. DaemonSet가 처리하는 컨테이너에서 ConfigMap의 콘텐츠를 사용할 수 있도록 볼륨을 구성합니다.
2. 기본 클러스터 노드의 권한 있는 파일 시스템 영역에 대한 볼륨을 구성합니다. 이러한 영역에서는 DaemonSet가 예약하는 컨테이너가 컨테이너를 실행하는 노드와 직접 상호작용할 수 있습니다.
3. 초기화 절차를 실행한 후 완료 시 종료되는 초기화 컨테이너를 예약하고 실행합니다.
4. 유휴 상태로 유지되며 리소스를 사용하지 않는 컨테이너를 예약하고 실행합니다.

유휴 컨테이너는 노드가 한 번만 초기화되도록 합니다. DaemonSet를 사용하면 모든 적격 노드에서 pod 복사본을 실행할 수 있습니다. 일반 컨테이너는 초기화 절차를 실행한 후 절차 완료 시 종료됩니다. DaemonSet는 처음부터 Pod를 다시 예약하도록 설계되었습니다. '연속 재예약'을 피하기 위해 DaemonSet는 우선 초기화 컨테이너에서 초기화 절차를 실행한 다음 컨테이너를 실행 상태로 둡니다.

다음 초기화 절차에는 권한 있는 작업과 권한이 없는 작업이 포함되어 있습니다. chroot를 사용하면 컨테이너 내부가 아닌 노드에서 명령어를 직접 실행하는 것처럼 명령어를 실행할 수 있습니다.

# Copyright 2019 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: entrypoint
  labels:
    app: default-init
data:
  entrypoint.sh: |
    #!/usr/bin/env bash

    set -euo pipefail

    DEBIAN_FRONTEND=noninteractive
    ROOT_MOUNT_DIR="${ROOT_MOUNT_DIR:-/root}"

    echo "Installing dependencies"
    apt-get update
    apt-get install -y apt-transport-https curl gnupg lsb-release

    echo "Installing gcloud SDK"
    export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)"
    echo "deb https://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" | tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
    curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
    apt-get update
    apt-get install -y google-cloud-sdk

    echo "Getting node metadata"
    NODE_NAME="$(curl -sS http://metadata.google.internal/computeMetadata/v1/instance/name -H 'Metadata-Flavor: Google')"
    ZONE="$(curl -sS http://metadata.google.internal/computeMetadata/v1/instance/zone -H 'Metadata-Flavor: Google' | awk -F  "/" '{print $4}')"

    echo "Setting up disks"
    DISK_NAME="$NODE_NAME-additional"

    if ! gcloud compute disks list --filter="name:$DISK_NAME" | grep "$DISK_NAME" > /dev/null; then
        echo "Creating $DISK_NAME"
        gcloud compute disks create "$DISK_NAME" --size=1024 --zone="$ZONE"
    else
        echo "$DISK_NAME already exists"
    fi

    if ! gcloud compute instances describe "$NODE_NAME" --zone "$ZONE" --format '(disks[].source)' | grep "$DISK_NAME" > /dev/null; then
        echo "Attaching $DISK_NAME to $NODE_NAME"
        gcloud compute instances attach-disk "$NODE_NAME" --device-name=sdb --disk "$DISK_NAME" --zone "$ZONE"
    else
        echo "$DISK_NAME is already attached to $NODE_NAME"
    fi

    # We use chroot to run the following commands in the host root (mounted as the /root volume in the container)
    echo "Installing nano"
    chroot "${ROOT_MOUNT_DIR}" apt-get update
    chroot "${ROOT_MOUNT_DIR}" apt-get install -y nano

    echo "Loading Kernel modules"
    # Load the bridge kernel module as an example
    chroot "${ROOT_MOUNT_DIR}" modprobe bridge
...

절차에 따라 클러스터 노드의 상태가 변경될 수 있으므로 각 초기화 절차를 신중하게 검토하는 것이 좋습니다. 이러한 절차는 클러스터의 가용성과 보안에 큰 영향을 줄 수 있으므로 소수의 개인만 이러한 절차를 수정할 수 있습니다.

ConfigMap 및 DaemonSet를 배포하려면 다음 안내를 따르세요.

1. Cloud Shell에서 작업 디렉터리를 $HOME 디렉터리로 변경합니다.

   cd "$HOME"
   

2. 스크립트 및 매니페스트 파일이 포함된 Git 저장소를 클론하여 초기화 절차를 배포하고 구성합니다.

   git clone https://github.com/GoogleCloudPlatform/solutions-gke-init-daemonsets-tutorial
   

3. 작업 디렉터리를 새로 클론된 저장소로 변경합니다.

   cd "$HOME"/solutions-gke-init-daemonsets-tutorial
   

4. 노드 초기화 스크립트를 저장할 ConfigMap을 만듭니다.

   kubectl apply -f cm-entrypoint.yaml
   

5. DaemonSet를 배포합니다.

   kubectl apply -f daemon-set.yaml
   

6. 노드 초기화가 완료되었는지 확인합니다.

   kubectl get ds --watch
   

   예를 들어 다음 출력과 같이 DaemonSet가 준비되고 최신 상태로 보고될 때까지 기다립니다.

   NAME              DESIRED   CURRENT   READY     UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   node-initializer   3         3         3         3            3          <none>  2h
   

초기화 절차의 검증 및 확인

default-init 라벨이 표시된 클러스터의 각 노드가 초기화 절차를 실행하면 결과를 확인할 수 있습니다.

각 노드에서 확인 절차는 다음을 확인합니다.

1. 추가 디스크가 연결되었고 사용할 수 있습니다.
2. 노드의 운영체제 패키지 관리자가 패키지 및 라이브러리를 설치했습니다.
3. 커널 모듈이 로드됩니다.

확인 절차를 실행합니다.

• Cloud Shell에서 확인 스크립트를 실행합니다.

  kubectl get nodes -o=jsonpath='{range .items[?(@.metadata.labels.app=="default-init")]}{.metadata.name}{" "}{.metadata.labels.failure-domain\.beta\.kubernetes\.io/zone}{"\n"}{end}' | while IFS= read -r line ; do ./verify-init.sh $line < /dev/null; done
  

  스크립트가 실행될 때까지 기다린 후 다음 출력과 같이 각 노드가 올바르게 초기화되었는지 확인합니다.

  Verifying gke-ds-init-tutorial-default-pool-5464b7e3-nzjm (us-central1-c) configuration
  Disk configured successfully on gke-ds-init-tutorial-default-pool-5464b7e3-nzjm (us-central1-c)
  Packages installed successfully in gke-ds-init-tutorial-default-pool-5464b7e3-nzjm (us-central1-c)
  Kernel modules loaded successfully on gke-ds-init-tutorial-default-pool-5464b7e3-nzjm (us-central1-c)
  Verifying gke-ds-init-tutorial-default-pool-65baf745-0gwt (us-central1-a) configuration
  Disk configured successfully on gke-ds-init-tutorial-default-pool-65baf745-0gwt (us-central1-a)
  Packages installed successfully in gke-ds-init-tutorial-default-pool-65baf745-0gwt (us-central1-a)
  Kernel modules loaded successfully on gke-ds-init-tutorial-default-pool-65baf745-0gwt (us-central1-a)
  Verifying gke-ds-init-tutorial-default-pool-6b125c50-3xvl (us-central1-b) configuration
  Disk configured successfully on gke-ds-init-tutorial-default-pool-6b125c50-3xvl (us-central1-b)
  Packages installed successfully in gke-ds-init-tutorial-default-pool-6b125c50-3xvl (us-central1-b)
  Kernel modules loaded successfully on gke-ds-init-tutorial-default-pool-6b125c50-3xvl (us-central1-b)