GKE에서 AI 워크로드용 GPU 가속 Ray 배포

GKE 클러스터 만들기

GKE Autopilot 또는 Standard 클러스터에 워크로드를 배포할 수 있습니다. 완전 관리형 Kubernetes 환경을 위해서는 Autopilot 클러스터를 사용하는 것이 좋습니다. 워크로드에 가장 적합한 GKE 작업 모드를 선택하려면 GKE 작업 모드 선택을 참고하세요.

KubeRay kubectl ray 플러그인 설치

kubectl ray 플러그인은 Kubernetes에서 일반적인 Ray 워크플로를 간소화합니다. 최신 설치 안내는 KubeRay 문서를 참고하세요.

1. 출시 페이지로 이동하여 플랫폼의 바이너리를 다운로드합니다. 예를 들어 Linux amd64에 kubectl ray 플러그인 버전 1.3.2를 설치하려면 다음 명령어를 실행합니다.

   curl -LO https://github.com/ray-project/kuberay/releases/download/v1.3.2/kubectl-ray_v1.3.2_linux_amd64.tar.gz
   tar -xvf kubectl-ray_v1.3.2_linux_amd64.tar.gz
   cp kubectl-ray ~/.local/bin
   

   ~/.local/bin를 PATH의 디렉터리로 바꿉니다.

2. 설치를 확인합니다.

   kubectl ray version
   

   KubeRay operator installation cannot be found: no KubeRay operator deployments found in any namespace.과 같은 경고가 표시되면 무시해도 됩니다. 설치에 성공하면 kubectl ray 플러그인의 버전이 출력됩니다.

클러스터에서 커스텀 컴퓨팅 클래스 만들기

GKE의 커스텀 컴퓨팅 클래스를 사용하면 GPU 유형 및 개수와 같은 특정 하드웨어 요구사항을 우선순위에 따라 정의할 수 있습니다. GKE는 워크로드의 노드를 프로비저닝할 때 이 우선순위를 사용합니다.

이 가이드의 예시 맞춤 컴퓨팅 클래스를 만들려면 다음 단계를 따르세요.

1. 다음 컴퓨팅 클래스 사양을 nvidia-l4-compute-class.yaml로 저장합니다.

   apiVersion: cloud.google.com/v1
   kind: ComputeClass
   metadata:
     name: gpu-compute-class
   spec:
     priorities:
     - gpu:
         type: nvidia-l4
         count: 1
       spot: true
     - gpu:
         type: nvidia-l4
         count: 1
       spot: false
     nodePoolAutoCreation:
       enabled: true
     whenUnsatisfiable: DoNotScaleUp
   

2. 다음 명령어를 실행하여 컴퓨팅 클래스를 만듭니다.

   kubectl apply -f nvidia-l4-compute-class.yaml
   

   맞춤 컴퓨팅 클래스를 적용하면 어떻게 되나요? 컴퓨팅 클래스 YAML 파일을 적용하면 Ray 클러스터에서 요청하면 GKE에서 NVIDIA L4 GPU 1개를 노드에 자동으로 프로비저닝합니다. 매니페스트에 정의된 대로 스팟 VM에 우선순위가 부여됩니다. whenUnsatisfiable: DoNotScaleUp 설정은 지정된 요구사항을 충족하지 않는 노드를 만들지 않도록 GKE에 지시합니다.

Ray 클러스터 만들기 및 확인

이제 GKE 클러스터에서 Ray 클러스터를 만들 수 있습니다.

1. Ray 클러스터를 만듭니다. kubectl ray create cluster 명령어를 사용하여 Ray 클러스터를 정의하고 만듭니다. 이 명령어는 기본 Kubernetes 리소스 생성을 처리하여 프로세스를 간소화합니다.

     kubectl ray create cluster my-ray-cluster \
         --worker-replicas=1 \
         --worker-cpu=2 \
         --worker-memory=4Gi \
         --worker-gpu=1 \
         --worker-node-selectors="cloud.google.com/compute-class=gpu-compute-class"
   

   kubectl ray create cluster 명령어는 KubeRay 플러그인을 사용하여 사양을 RayCluster 커스텀 리소스 정의로 변환하고 Kubernetes API로 전송하여 RayCluster 객체를 만듭니다. 이 객체는 GKE 내에서 실제 Ray 클러스터 구성요소 (헤드 및 워커 노드)를 프로비저닝하고 관리하는 방법을 Ray 연산자에게 알려주는 청사진 역할을 합니다. 기본적으로 GKE는 E2 머신 시리즈의 노드에서 헤드 포드를 예약합니다.

   다음은 이 명령어의 예시입니다.

   • kubectl ray create cluster my-ray-cluster: 만들려는 Ray 클러스터의 이름을 지정합니다.
   • --worker-node-selectors: Kubernetes에 cloud.google.com/compute-class=gpu-compute-class로 라벨이 지정된 노드에 작업자 포드를 예약하도록 지시합니다.

2. Ray 클러스터 상태를 확인합니다. 다음 명령어를 사용하여 Ray 클러스터가 실행 중인지 확인합니다.

   • 다음 명령어를 실행하여 RayCluster 리소스를 확인합니다.

     kubectl ray get cluster
     

     이 명령어는 Kubernetes 네임스페이스의 모든 Ray 클러스터를 나열합니다. my-ray-cluster가 표시됩니다. 클러스터가 초기화되는 데 몇 분 정도 걸릴 수 있습니다.

   • 다음 명령어를 실행하여 Kubernetes 포드를 확인합니다.

     kubectl get pods
     

     이 명령어는 Kubernetes 네임스페이스에서 실행 중인 모든 Pod를 나열합니다. Ray 클러스터와 관련된 포드가 표시됩니다.

     • my-ray-cluster-head-0와 같은 이름의 Ray 헤드 노드용 포드입니다.
     • Ray 워커 노드의 포드 1개 이상(이름: my-ray-cluster-worker-group-0-xxxxx) 워커 포드 수는 Ray 클러스터의 초기 구성 및 발생했을 수 있는 자동 확장에 따라 다릅니다.

Ray 작업 제출

Ray 클러스터가 준비되면 GKE에서 실행 중인 Ray 클러스터에 Ray 작업을 제출할 수 있습니다.

이렇게 하려면 kubectl ray session 명령어를 사용하여 양방향 세션을 시작하고 ray job submit 명령어를 사용하여 작업 실행을 시작합니다.

1. Ray 대화형 세션 시작 Ray 클러스터에 로컬 연결을 설정하려면 다음 명령어를 실행합니다.

     kubectl ray session my-ray-cluster
   

   이 명령어는 로컬 머신과 GKE 클러스터의 Ray 헤드 노드 간에 포트 전달을 시작합니다. 이 세션이 활성 상태인 동안은 터미널이 사용 중이므로 계속하려면 별도의 터미널 인스턴스를 열어야 합니다.

2. 실행할 샘플 코드 만들기 다음 예시 코드를 sample_code.py 파일에 저장합니다.

     import ray
     import os
     import requests
   
     ray.init()
   
     @ray.remote
     class Counter:
         def __init__(self):
             # Used to verify runtimeEnv
             self.name = os.getenv("counter_name")
             assert self.name == "test_counter"
             self.counter = 0
   
         def inc(self):
             self.counter += 1
   
         def get_counter(self):
             return "{} got {}".format(self.name, self.counter)
   
     counter = Counter.remote()
   
     for _ in range(5):
             ray.get(counter.inc.remote())
             print(ray.get(counter.get_counter.remote()))
   
     # Verify that the correct runtime env was used for the job.
     assert requests.__version__ == "2.26.0"
   

3. 새 터미널을 열고 Ray 작업을 제출합니다.

   1. 로컬 머신에서 새 터미널을 엽니다. Ray 설치를 위해 가상 환경을 만든 경우 이 새 터미널에서도 활성화해야 합니다.
   2. sample_code.py 파일을 저장한 디렉터리로 이동합니다.

   3. 다음 명령어를 실행합니다.

        ray job submit \
            --working-dir=. \
            --runtime-env-json='{"pip": ["requests==2.26.0"], "env_vars": {"counter_name": "test_counter"}}' \
            --address http://localhost:8265 python sample_code.py
      

      다음은 이 명령어의 예시입니다.

      • --working-dir=.: 현재 디렉터리를 클러스터의 Ray 작업에서 사용할 수 있는 작업 디렉터리로 지정합니다. 이 디렉터리에는 Ray에서 실행하려는 애플리케이션 소스 코드만 포함되어 있는 것이 좋습니다. 이 예에서는 sample_code.py 파일입니다.
      • --runtime-env-json='{"pip": ["requests==2.26.0"], "env_vars": {"counter_name": "test_counter"}}': 작업의 런타임 환경을 정의합니다. 필요한 Python 라이브러리 버전(requests==2.26.0)을 지정하고 작업 실행을 위한 환경 변수 (counter_name)를 설정합니다.

4. Ray 작업을 확인합니다. 다음 방법 중 하나로 작업을 모니터링할 수 있습니다.

   • Ray 대시보드: 웹브라우저를 열고 http://localhost:8265로 이동합니다. 이 URL을 열면 Ray 대시보드가 열리며 여기에서 상태, 로그, 리소스 사용량 등 실행 중인 작업에 관한 정보를 확인할 수 있습니다.
   • 측정항목 탐색기:Google Cloud 콘솔에서 사전 빌드된 측정항목 대시보드를 사용합니다. 자세한 내용은 GKE의 Ray 클러스터에 대한 로그 및 측정항목 수집 및 보기를 참고하세요.

5. Ray 세션을 종료합니다. Ray 클러스터와 상호작용하거나 작업 모니터링을 완료한 후에는 kubectl ray session 명령어를 실행한 터미널에서 Ctrl+C를 눌러 대화형 세션을 종료할 수 있습니다.