이 페이지는 Cloud Translation API를 통해 번역되었습니다.

GKE에서 GPU를 사용하여 vLLM을 통해 Llama 모델 서빙
컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

Autopilot Standard

이 튜토리얼에서는 vLLM 제공 프레임워크와 함께 Google Kubernetes Engine (GKE)에서 GPU를 사용하여 Llama 모델 4 대규모 언어 모델 (LLM)을 배포하고 제공하는 방법을 보여줍니다. 이를 통해 관리형 Kubernetes 환경에서 추론을 위한 실용적인 LLM 배포를 이해하고 살펴볼 수 있는 기반을 마련할 수 있습니다. vLLM을 실행하는 사전 빌드된 컨테이너를 GKE에 배포합니다. 또한 Hugging Face에서 Llama를 로드하도록 GKE를 구성합니다.

이 튜토리얼은 H200, H100, A100, L4 GPU 하드웨어에서 AI/ML 워크로드를 제공하기 위해 Kubernetes 컨테이너 조정 기능을 사용하는 데 관심이 있는 머신러닝 (ML) 엔지니어, 플랫폼 관리자 및 운영자, 데이터 및 AI 전문가를 대상으로 합니다. Google Cloud 콘텐츠에서 참조하는 일반적인 역할 및 예시 작업에 대해 자세히 알아보려면 일반 GKE Enterprise 사용자 역할 및 작업을 참고하세요.

ML 모델을 비용 효율적으로 빠르게 빌드하고 제공하도록 설계된 통합 관리형 AI 플랫폼이 필요한 경우 Vertex AI 배포 솔루션을 사용하는 것이 좋습니다.

이 페이지를 읽기 전에 다음 사항을 숙지해야 합니다.

배경

이 섹션에서는 이 가이드에서 사용되는 주요 기술을 설명합니다.

Llama

Llama는 텍스트 생성, 번역, 질문 응답을 비롯한 다양한 자연어 처리 태스크를 위해 설계된 Meta의 대규모 언어 모델입니다. GKE는 이러한 규모의 모델의 분산 학습 및 서빙 요구사항을 지원하는 데 필요한 인프라를 제공합니다. 자세한 내용은 Llama 문서를 참고하세요.

GPU

GPU를 사용하면 머신러닝 및 데이터 처리와 같이 노드에서 실행되는 특정 워크로드를 가속화할 수 있습니다. GKE는 NVIDIA H200, H100, L4, A100 GPU가 있는 머신 유형을 포함하여 노드 구성에 사용되는 다양한 머신 유형 옵션을 제공합니다.

vLLM

vLLM은 GPU의 제공 처리량을 늘릴 수 있는 고도로 최적화된 오픈소스 LLM 제공 프레임워크로 다음과 같은 기능을 제공합니다.

PagedAttention으로 최적화된 Transformer구현
전체 제공 처리량을 개선하기 위한 연속적인 작업 일괄 처리
여러 GPU에서 텐서 동시 로드 및 분산 제공

자세한 내용은 vLLM 문서를 참고하세요.

목표

Autopilot 또는 Standard 모드의 GKE 클러스터로 환경을 준비합니다.
클러스터에 vLLM 컨테이너를 배포합니다.
vLLM을 사용하여 curl 및 웹 채팅 인터페이스를 통해 Llama 4 모델을 제공합니다.

시작하기 전에

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the required API.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Enable the required API.

Enable the API

Make sure that you have the following role or roles on the project: roles/container.admin, roles/iam.serviceAccountAdmin
Check for the roles
1. In the Google Cloud console, go to the IAM page.
  Go to IAM
2. Select the project.
3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.
  IAM으로 이동
2. 프로젝트를 선택합니다.
3. 액세스 권한 부여를 클릭합니다.
4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.
5. 역할 선택 목록에서 역할을 선택합니다.
6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
7. 저장을 클릭합니다.

Hugging Face 계정이 없는 경우 만듭니다.
프로젝트에 H100 및 H200 GPU 할당량이 충분한지 확인합니다. 자세한 내용은 GPU 할당량 계획 및 GPU 할당량을 참고하세요.

모델 액세스 권한 얻기

Hugging Face를 통해 모델에 액세스하려면 Hugging Face 토큰이 필요합니다.

아직 토큰이 없으면 다음 단계에 따라 새 토큰을 생성합니다.

내 프로필 > 설정 > 액세스 토큰을 클릭합니다.
새 토큰을 선택합니다.
원하는 이름과 Read 이상의 역할을 지정합니다.
토큰 생성을 선택합니다.
클립보드에 생성된 토큰을 복사합니다.

개발 환경 준비

이 튜토리얼에서는 Cloud Shell을 사용하여Google Cloud에서 호스팅되는 리소스를 관리합니다. Cloud Shell에는 kubectl 및 gcloud CLI 등 이 튜토리얼에 필요한 소프트웨어가 사전 설치되어 있습니다.

Cloud Shell로 환경을 설정하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 Google Cloud 콘솔의 Cloud Shell 활성화를 클릭하여 Cloud Shell 세션을 시작합니다. 그러면 Google Cloud 콘솔 하단 창에서 세션이 시작됩니다.
기본 환경 변수를 설정합니다.
```
gcloud config set project PROJECT_ID
export PROJECT_ID=$(gcloud config get project)
export REGION=REGION
export CLUSTER_NAME=CLUSTER_NAME
export HF_TOKEN=HF_TOKEN
```
다음 값을 바꿉니다.
- PROJECT_ID: Google Cloud 프로젝트 ID입니다.
- REGION: 사용하려는 가속기 유형을 지원하는 리전(예: L4 GPU의 경우 us-central1)입니다.
- CLUSTER_NAME: 클러스터 이름입니다.
- HF_TOKEN: 이전에 생성한 Hugging Face 토큰입니다.

Google Cloud 리소스 만들기 및 구성

다음 안내에 따라 필요한 리소스를 만듭니다.

GKE 클러스터 및 노드 풀 만들기

GKE Autopilot 또는 Standard 클러스터의 GPU에서 Llama 4 모델을 제공할 수 있습니다. 완전 관리형 Kubernetes 환경을 위해서는 Autopilot을 사용하는 것이 좋습니다. 워크로드에 가장 적합한 GKE 작업 모드를 선택하려면 GKE 작업 모드 선택을 참고하세요.

Autopilot

Cloud Shell에서 다음 명령어를 실행합니다.

gcloud container clusters create-auto CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --release-channel=rapid

다음 값을 바꿉니다.

PROJECT_ID: Google Cloud 프로젝트 ID입니다.
REGION: 사용하려는 가속기 유형을 지원하는 리전(예: L4 GPU의 경우 us-central1)입니다.
CLUSTER_NAME: 클러스터 이름입니다.

GKE는 배포된 워크로드의 요청에 따라 CPU 및 GPU 노드를 사용하여 Autopilot 클러스터를 만듭니다.

Standard

Cloud Shell에서 다음 명령어를 실행하여 Standard 클러스터를 만듭니다.
```
gcloud container clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --workload-pool=PROJECT_ID.svc.id.goog \
    --release-channel=rapid \
    --num-nodes=1
```
다음 값을 바꿉니다.
- PROJECT_ID: Google Cloud 프로젝트 ID입니다.
- REGION: 사용하려는 가속기 유형을 지원하는 리전(예: H100 GPU의 경우 us-central1)입니다.
- CLUSTER_NAME: 클러스터 이름입니다.
클러스터 만들기는 몇 분 정도 걸릴 수 있습니다.

적절한 디스크 크기로 클러스터의 노드 풀을 만들려면 다음 명령어를 실행합니다.

gcloud container node-pools create gpupool \
    --accelerator type=nvidia-h100-80gb,count=1,gpu-driver-version=latest \
    --project=PROJECT_ID \
    --location=REGION \
    --node-locations=REGION-a \
    --cluster=CLUSTER_NAME \
    --machine-type=a3-highgpu-8g \
    --disk-type=pd-ssd \
    --num-nodes=1 \
    --disk-size=256

GKE는 H100 80GB GPU 8개가 포함된 단일 노드 풀을 만듭니다.

Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기

Cloud Shell에서 다음을 수행합니다.

클러스터와 통신할 수 있도록 kubectl을 구성합니다.
```
gcloud container clusters get-credentials CLUSTER_NAME \
    --location=REGION
```
다음 값을 바꿉니다.
- REGION: 사용하려는 가속기 유형을 지원하는 리전(예: L4 GPU의 경우 us-central1)입니다.
- CLUSTER_NAME: 클러스터 이름입니다.

Hugging Face 토큰이 포함된 Kubernetes 보안 비밀을 만듭니다.

kubectl create secret generic hf-secret \
    --from-literal=hf_api_token=${HF_TOKEN} \
    --dry-run=client -o yaml | kubectl apply -f -

HF_TOKEN을 이전에 생성한 Hugging Face 토큰으로 바꿉니다.

vLLM 배포

이 섹션에서는 사용하려는 Llama 4 모델을 제공하기 위해 vLLM 컨테이너를 배포합니다.

Llama 4 Maverick 17B-128E
Llama 4 Scout 17B-16E

이 튜토리얼에서는 모델을 배포하기 위해 Kubernetes 배포를 사용합니다. 배포는 클러스터의 노드 간에 분산된 포드의 여러 복제본을 실행할 수 있는 Kubernetes API 객체입니다.

Llama 4 Maverick 17B-128e

Llama 4 Maverick 17B-128E 모델을 배포하려면 다음 안내를 따르세요.

다음 vllm-llama4-maverick-17b-128e.yaml 매니페스트를 만듭니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llama-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: llama-server
  template:
    metadata:
      labels:
        app: llama-server
        ai.gke.io/model: Llama-4-Maverick-17B-128E
        ai.gke.io/inference-server: vllm
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250405_1205_RC01
        resources:
          requests:
            cpu: 157
            memory: 2067Gi
            ephemeral-storage: 850Gi
            nvidia.com/gpu : 8
          limits:
            cpu: 157
            memory: 2067Gi
            ephemeral-storage: 850Gi
            nvidia.com/gpu : 8
        args:
        - python3
        - -m
        - vllm.entrypoints.api_server
        - --host=0.0.0.0
        - --port=7080
        - --swap-space=16
        - --max-model-len=131072
        - --gpu-memory-utilization=0.95
        - --disable-log-stats
        - --dtype=auto
        - --kv-cache-dtype=auto
        - --max-num-seqs=64
        - --model=meta-llama/Llama-4-Maverick-17B-128E
        - --tensor-parallel-size=8
        env:
        - name: MODEL_ID
          value: 'meta-llama/Llama-4-Maverick-17B-128E'
        - name: HUGGING_FACE_HUB_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-h200-141gb
---
apiVersion: v1
kind: Service
metadata:
  name: llama-service
spec:
  selector:
    app: llama-server
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 8000
    targetPort: 7080
---
apiVersion: v1
kind: Secret
metadata:
  name: hf-secret
type: Opaque
stringData:
  hf_api_token: {{HF_TOKEN}}

매니페스트를 적용합니다.
```
kubectl apply -f vllm-llama4-maverick-17b-128e.yaml
```
이 예에서는 --max-model-len=131072 vLLM 옵션을 사용하여 컨텍스트 창을 128K로 제한합니다.

Llama 4 Maverick 17B-128e-it

Llama 4 Maverick 17B-128e 명령 조정 모델을 배포하려면 다음 안내를 따르세요.

다음 vllm-llama4-maverick-17b-128e-instruct.yaml 매니페스트를 만듭니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llama-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: llama-server
  template:
    metadata:
      labels:
        app: llama-server
        ai.gke.io/model: Llama-4-Maverick-17B-128E-Instruct
        ai.gke.io/inference-server: vllm
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250405_1205_RC01
        resources:
          requests:
            cpu: 157
            memory: 2067Gi
            ephemeral-storage: 850Gi
            nvidia.com/gpu : 8
          limits:
            cpu: 157
            memory: 2067Gi
            ephemeral-storage: 850Gi
            nvidia.com/gpu : 8
        args:
        - python3
        - -m
        - vllm.entrypoints.api_server
        - --host=0.0.0.0
        - --port=7080
        - --swap-space=16
        - --max-model-len=131072
        - --gpu-memory-utilization=0.95
        - --disable-log-stats
        - --dtype=auto
        - --kv-cache-dtype=auto
        - --max-num-seqs=64
        - --model=meta-llama/Llama-4-Maverick-17B-128E-Instruct
        - --tensor-parallel-size=8
        env:
        - name: MODEL_ID
          value: 'meta-llama/Llama-4-Maverick-17B-128E-Instruct'
        - name: HUGGING_FACE_HUB_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-h200-141gb
---
apiVersion: v1
kind: Service
metadata:
  name: llama-service
spec:
  selector:
    app: llama-server
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 8000
    targetPort: 7080
---
apiVersion: v1
kind: Secret
metadata:
  name: hf-secret
type: Opaque
stringData:
  hf_api_token: {{HF_TOKEN}}

매니페스트를 적용합니다.
```
kubectl apply -f vllm-llama4-maverick-17b-128e-instruct.yaml
```
이 예에서는 --max-model-len=131072 vLLM 옵션을 사용하여 컨텍스트 창을 128K로 제한합니다.

Llama 4 Maverick 17B-128e-it-fp8

Llama 4 Maverick 17B-128e-Instruct-FP8 모델을 배포하려면 다음 안내를 따르세요.

다음 vllm-llama4-maverick-17b-128e-instruct-fp8.yaml 매니페스트를 만듭니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llama-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: llama-server
  template:
    metadata:
      labels:
        app: llama-server
        ai.gke.io/model: Llama-4-Maverick-17B-128E-Instruct-FP8
        ai.gke.io/inference-server: vllm
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250405_1205_RC01
        resources:
          requests:
            cpu: 146
            memory: 1311Gi
            ephemeral-storage: 600Gi
            nvidia.com/gpu : 8
          limits:
            cpu: 146
            memory: 1311Gi
            ephemeral-storage: 600Gi
            nvidia.com/gpu : 8
        args:
        - python3
        - -m
        - vllm.entrypoints.api_server
        - --host=0.0.0.0
        - --port=7080
        - --swap-space=16
        - --max-model-len=524288
        - --gpu-memory-utilization=0.90
        - --disable-log-stats
        - --model=meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8
        - --tensor-parallel-size=8
        env:
        - name: MODEL_ID
          value: 'meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8'
        - name: HUGGING_FACE_HUB_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-h100-80gb
---
apiVersion: v1
kind: Service
metadata:
  name: llama-service
spec:
  selector:
    app: llama-server
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 8000
    targetPort: 7080
---
apiVersion: v1
kind: Secret
metadata:
  name: hf-secret
type: Opaque
stringData:
  hf_api_token: {{HF_TOKEN}}

매니페스트를 적용합니다.
```
kubectl apply -f vllm-llama4-maverick-17b-128e-instruct-fp8.yaml
```
이 예에서는 --max-model-len=524288 vLLM 옵션을 사용하여 컨텍스트 창을 512K로 제한합니다.

Llama 4 Scout 17B-16e

Llama 4 Scout 17B-16E 모델을 배포하려면 다음 안내를 따르세요.

다음 vllm-llama4-scout-17b-16e.yaml 매니페스트를 만듭니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llama-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: llama-server
  template:
    metadata:
      labels:
        app: llama-server
        ai.gke.io/model: Llama-4-Scout-17B-16E
        ai.gke.io/inference-server: vllm
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250405_1205_RC01
        resources:
          requests:
            cpu: 146
            memory: 1311Gi
            ephemeral-storage: 600Gi
            nvidia.com/gpu : 8
          limits:
            cpu: 146
            memory: 1311Gi
            ephemeral-storage: 600Gi
            nvidia.com/gpu : 8
        args:
        - python3
        - -m
        - vllm.entrypoints.api_server
        - --host=0.0.0.0
        - --port=7080
        - --swap-space=16
        - --max-model-len=262144
        - --limit_mm_per_prompt='image=5'
        - --disable-log-stats
        - --model=meta-llama/Llama-4-Scout-17B-16E
        - --tensor-parallel-size=8
        env:
        - name: MODEL_ID
          value: 'meta-llama/Llama-4-Scout-17B-16E'
        - name: HUGGING_FACE_HUB_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-h100-80gb
---
apiVersion: v1
kind: Service
metadata:
  name: llama-service
spec:
  selector:
    app: llama-server
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 8000
    targetPort: 7080
---
apiVersion: v1
kind: Secret
metadata:
  name: hf-secret
type: Opaque
stringData:
  hf_api_token: {{HF_TOKEN}}

매니페스트를 적용합니다.
```
kubectl apply -f vllm-llama4-scout-17b-16e.yaml
```
이 예에서는 --max-model-len=262144 vLLM 옵션을 사용하여 컨텍스트 창을 256, 000으로 제한합니다.

Llama 4 Scout 17B-16e-it

Llama 4 Scout 17B-16e Instruct 명령 조정 모델을 배포하려면 다음 안내를 따르세요.

다음 vllm-llama4-scout-17b-16e-instruct.yaml 매니페스트를 만듭니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llama-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: llama-server
  template:
    metadata:
      labels:
        app: llama-server
        ai.gke.io/model: Llama-4-Scout-17B-16E-Instruct
        ai.gke.io/inference-server: vllm
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250405_1205_RC01
        resources:
          requests:
            cpu: 146
            memory: 1311Gi
            ephemeral-storage: 600Gi
            nvidia.com/gpu : 8
          limits:
            cpu: 146
            memory: 1311Gi
            ephemeral-storage: 600Gi
            nvidia.com/gpu : 8
        args:
        - python3
        - -m
        - vllm.entrypoints.api_server
        - --host=0.0.0.0
        - --port=7080
        - --swap-space=16
        - --max-model-len=1310720
        - --limit_mm_per_prompt='image=5'
        - --disable-log-stats
        - --model=meta-llama/Llama-4-Scout-17B-16E-Instruct
        - --tensor-parallel-size=8
        env:
        - name: MODEL_ID
          value: 'meta-llama/Llama-4-Scout-17B-16E-Instruct'
        - name: HUGGING_FACE_HUB_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-h100-80gb
---
apiVersion: v1
kind: Service
metadata:
  name: llama-service
spec:
  selector:
    app: llama-server
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 8000
    targetPort: 7080
---
apiVersion: v1
kind: Secret
metadata:
  name: hf-secret
type: Opaque
stringData:
  hf_api_token: {{HF_TOKEN}}

매니페스트를 적용합니다.
```
kubectl apply -f vllm-llama4-scout-17b-16e-instruct.yaml
```
이 예에서는 --max-model-len=1310720 vLLM 옵션을 사용하여 컨텍스트 창을 1,280,000으로 제한합니다.

배포를 사용할 수 있을 때까지 기다립니다.

kubectl wait --for=condition=Available --timeout=1800s deployment/llama-deployment

실행 중인 배포의 로그를 봅니다.

kubectl logs -f -l app=llama-server

배포 리소스는 모델 데이터를 다운로드합니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다. 출력은 다음과 비슷합니다.

INFO:     Started server process [145]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
...
INFO 04-07 13:36:29 [async_llm.py:228] Added request chatcmpl-4149ea4cf35e48559f9f819dcdbbb23e.
INFO:     127.0.0.1:44018 - "POST /v1/chat/completions HTTP/1.1" 200 OK

다음 섹션으로 진행하기 전에 모델이 완전히 다운로드되었는지 확인합니다.

모델 제공

이 섹션에서는 모델과 상호작용합니다.

포트 전달 설정

모델에 대한 포트 전달을 설정하려면 다음 명령어를 실행합니다.

kubectl port-forward service/llama-service 8080:8000

출력은 다음과 비슷합니다.

Forwarding from 127.0.0.1:8080 -> 7080

curl을 사용하여 모델과 상호작용

이 섹션에서는 기본 스모크 테스트를 수행하여 배포된 Llama 명령 조정 모델을 확인하는 방법을 보여줍니다. 다른 모델의 경우 meta-llama/Llama-4-Scout-17B-16E을 각 모델의 이름으로 바꿉니다.

이 예에서는 텍스트 전용 입력으로 Llama 4 Scout 17B-16E 모델을 테스트하는 방법을 보여줍니다.

새 터미널 세션에서 curl을 사용해서 모델과 채팅합니다.

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-4-Scout-17B-16E",
    "messages": [{"role": "user", "content": "San Francisco is a"}],
    "max_tokens": 7,
    "temperature": 0
  }'

출력은 다음과 비슷합니다.

"message":{"role":"assistant","reasoning_content":null,"content":"San Francisco is a city","tool_calls":[]}

문제 해결하기

Empty reply from server 메시지가 표시되면 컨테이너에서 모델 데이터 다운로드가 완료되지 않았을 수 있습니다. 모델을 제공할 준비가 되었음을 나타내는 Connected 메시지가 있는지 포드의 로그를 다시 확인합니다.
Connection refused 메시지가 표시되면 포트 전달이 활성 상태인지 확인합니다.

모델 성능 관찰

모델 성능을 관찰하려면 Cloud Monitoring에서 vLLM 대시보드 통합을 사용하면 됩니다. 이 대시보드를 사용하면 토큰 처리량, 요청 지연 시간, 오류율과 같은 중요한 성능 측정항목을 확인할 수 있습니다.

vLLM 대시보드를 사용하려면 GKE 클러스터에서 vLLM의 측정항목을 수집하는 Google Cloud Managed Service for Prometheus를 사용 설정해야 합니다. vLLM은 기본적으로 Prometheus 형식으로 측정항목을 노출하므로 내보내기 도구를 추가로 설치할 필요가 없습니다.

그런 다음 vLLM 대시보드를 사용하여 측정항목을 볼 수 있습니다. Google Cloud Managed Service for Prometheus를 사용하여 모델에서 측정항목을 수집하는 방법에 관한 자세한 내용은 Cloud Monitoring 문서의 vLLM 관측 가능성 가이드를 참고하세요.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

배포된 리소스 삭제

이 가이드에서 만든 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 명령어를 실행합니다.

gcloud container clusters delete CLUSTER_NAME \
    --region=REGION

다음 값을 바꿉니다.

REGION: 사용하려는 가속기 유형을 지원하는 리전(예: L4 GPU의 경우 us-central1)입니다.
CLUSTER_NAME: 클러스터 이름입니다.

다음 단계

GKE의 GPU 자세히 알아보기
GitHub에서 샘플 코드를 확인하여 A100 및 H100 GPU를 포함한 다른 가속기에서 vLLM과 함께 Llama를 사용하는 방법 알아보기
Autopilot에서 GPU 워크로드 배포 방법 알아보기
Standard에서 GPU 워크로드 배포 방법 알아보기
vLLM GitHub 저장소 및 문서 살펴보기
Vertex AI Model Garden 살펴보기
GKE 플랫폼 조정 기능으로 최적화된 AI/ML 워크로드를 실행하는 방법 알아보기

GKE에서 GPU를 사용하여 vLLM을 통해 Llama 모델 서빙 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

배경

Llama

GPU

vLLM

목표

시작하기 전에

Check for the roles

Grant the roles

모델 액세스 권한 얻기

개발 환경 준비

Google Cloud 리소스 만들기 및 구성

GKE 클러스터 및 노드 풀 만들기

Autopilot

Standard

Hugging Face 사용자 인증 정보용 Kubernetes 보안 비밀 만들기

vLLM 배포

Llama 4 Maverick 17B-128e

Llama 4 Maverick 17B-128e-it

Llama 4 Maverick 17B-128e-it-fp8

Llama 4 Scout 17B-16e

Llama 4 Scout 17B-16e-it

모델 제공

포트 전달 설정

curl을 사용하여 모델과 상호작용

문제 해결하기

모델 성능 관찰

삭제

배포된 리소스 삭제

다음 단계

GKE에서 GPU를 사용하여 vLLM을 통해 Llama 모델 서빙
컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.