모델을 온라인 예측을 제공하는 데 사용하려면 먼저 모델을 엔드포인트에 배포해야 합니다. 모델을 배포하면 물리적 리소스가 모델과 연결되므로 짧은 지연 시간으로 온라인 예측을 제공할 수 있습니다.
배포하려면 모델이 Vertex AI Model Registry에 표시되어야 합니다. 모델 아티팩트를 가져오거나 Model Registry에서 직접 아티팩트를 생성하는 방법을 포함하여 Model Registry에 대한 자세한 내용은 Vertex AI Model Registry 소개를 참조하세요.
엔드포인트에 여러 모델을 배포하거나 동일한 모델을 여러 엔드포인트에 배포할 수 있습니다. 모델을 배포하는 옵션 및 사용 사례에 대한 자세한 내용은 동일한 모델에 두 개 이상의 모델을 배포하는 이유를 참조하세요.
엔드포인트에 모델 배포
다음 방법 중 하나를 사용하여 모델을 배포합니다.
Google Cloud 콘솔
Google Cloud 콘솔의 Vertex AI 섹션에서 모델 페이지로 이동합니다.
배포하려는 모델의 이름과 버전 ID를 클릭하여 세부정보 페이지를 엽니다.
배포 및 테스트 탭을 선택합니다.
이미 엔드포인트에 배포된 모델은 모델 배포 섹션에 나열됩니다.
엔드포인트에 배포를 클릭합니다.
모델을 새 엔드포인트에 배포하려면
새 엔드포인트 만들기를 선택하고 새 엔드포인트의 이름을 지정합니다. 모델을 기존 엔드포인트에 배포하려면 기존 엔드포인트에 추가를 선택하고 드롭다운 목록에서 엔드포인트를 선택합니다.엔드포인트에 여러 모델을 배포하거나 동일한 모델을 여러 엔드포인트에 배포할 수 있습니다.
하나 이상의 모델이 배포된 기존 엔드포인트에 모델을 배포하는 경우 비율을 모두 합하면 100%가 되도록 배포 중인 모델과 이미 배포된 모델의 트래픽 분할 비율을 업데이트해야 합니다.
모델을 새 엔드포인트에 배포하는 경우 트래픽 분할 값으로 100을 허용합니다. 아니면 모두 합하여 100이 되도록 엔드포인트의 모든 모델에 대한 트래픽 분할 값을 조정합니다.
모델에 제공할 최소 컴퓨팅 노드 수를 입력합니다.
이 숫자는 모델에서 항상 사용할 수 있어야 하는 노드 수입니다.
예측 트래픽이 없어도 예측 로드 처리나 대기(최소) 노드에 사용된 노드에 대한 요금이 청구됩니다. 자세한 내용은 가격 책정 페이지를 참조하세요.
예측 트래픽을 처리하는 데 필요한 경우 컴퓨팅 노드 수를 늘릴 수 있지만 최대 노드 수 이상은 안 됩니다.
자동 확장을 사용하려면 Vertex AI에서 수직 확장하려는 최대 컴퓨팅 노드 수를 입력합니다.
머신 유형을 선택합니다.
머신 리소스가 클수록 예측 성능이 향상되고 비용이 증가합니다. 사용 가능한 머신 유형을 비교해 보세요.
가속기 유형 및 가속기 수를 선택합니다.
모델을 가져오거나 만들 때 가속기를 사용 설정한 경우 이 옵션이 표시됩니다.
가속기 수의 경우 GPU 테이블을 참조하여 각 CPU 머신 유형에 사용할 수 있는 유효한 GPU 수를 확인하세요. 가속기 수는 배포의 총 가속기 수가 아닌 노드당 가속기 수를 나타냅니다.
배포에 커스텀 서비스 계정을 사용하려면 서비스 계정 드롭다운 메뉴에서 서비스 계정을 선택합니다.
예측 로깅의 기본 설정을 변경하는 방법을 알아보세요.
모델에서 완료를 클릭하고 모든 트래픽 분할 비율이 올바르면 계속을 클릭합니다.
모델이 배포되는 리전이 표시됩니다. 이 리전은 모델을 만든 리전이어야 합니다.
배포를 클릭하여 모델을 엔드포인트에 배포합니다.
API
Vertex AI API를 사용하여 모델을 배포하는 경우 다음 단계를 완료합니다.
엔드포인트 만들기
기존 엔드포인트에 모델을 배포하는 경우 이 단계를 건너뛰고 엔드포인트 ID 가져오기로 이동할 수 있습니다. 전용 엔드포인트 미리보기를 사용해 보려면 전용 엔드포인트 만들기로 건너뜁니다.
gcloud
다음 예시에서는 gcloud ai endpoints create
명령어를 사용합니다.
gcloud ai endpoints create \
--region=LOCATION_ID \
--display-name=ENDPOINT_NAME
다음을 바꿉니다.
- LOCATION_ID: Vertex AI를 사용하는 리전
- ENDPOINT_NAME: 엔드포인트의 표시 이름
Google Cloud CLI 도구가 엔드포인트를 만드는 데 몇 초 정도 걸릴 수 있습니다.
REST
요청 데이터를 사용하기 전에 다음을 바꿉니다.
- LOCATION_ID: 리전
- PROJECT_ID: 프로젝트 ID
- ENDPOINT_NAME: 엔드포인트의 표시 이름
HTTP 메서드 및 URL:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints
JSON 요청 본문:
{ "display_name": "ENDPOINT_NAME" }
요청을 보내려면 다음 옵션 중 하나를 펼칩니다.
다음과 비슷한 JSON 응답이 표시됩니다.
{ "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata", "genericMetadata": { "createTime": "2020-11-05T17:45:42.812656Z", "updateTime": "2020-11-05T17:45:42.812656Z" } } }
"done":
true
가 포함될 때까지 작업 상태를 폴링할 수 있습니다.
Terraform
다음 샘플에서는 google_vertex_ai_endpoint
Terraform 리소스를 사용하여 엔드포인트를 만듭니다.
Terraform 구성을 적용하거나 삭제하는 방법은 기본 Terraform 명령어를 참조하세요.
Java
이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 Vertex AI Java API 참고 문서를 참조하세요.
Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Node.js
이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 Vertex AI Node.js API 참고 문서를 참조하세요.
Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Python
Vertex AI SDK for Python을 설치하거나 업데이트하는 방법은 Vertex AI SDK for Python 설치를 참조하세요. 자세한 내용은 Python API 참고 문서를 확인하세요.
전용 엔드포인트 만들기
기존 엔드포인트에 모델을 배포하는 경우 이 단계를 건너뛸 수 있습니다.
전용 엔드포인트는 더 큰 페이로드 크기와 더 긴 요청 제한 시간을 지원하는 더 빠르고 안정적인 엔드포인트입니다.
미리보기 중에 전용 엔드포인트를 사용하려면 이를 명시적으로 사용 설정해야 합니다.
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"display_name": "ENDPOINT_NAME", "dedicatedEndpointEnabled": true}' \
https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints
다음을 바꿉니다.
- ENDPOINT_NAME: 엔드포인트의 표시 이름
- LOCATION_ID: Vertex AI를 사용하는 리전
- PROJECT_ID: Google Cloud 프로젝트의 프로젝트 ID입니다.
Python
endpoint = aiplatform.Endpoint.create(
display_name="ENDPOINT_NAME",
dedicated_endpoint_enabled=True,
)
다음을 바꿉니다.
- ENDPOINT_NAME: 엔드포인트의 표시 이름
엔드포인트 ID 가져오기
모델을 배포하려면 엔드포인트 ID가 필요합니다.
gcloud
다음 예시에서는 gcloud ai endpoints list
명령어를 사용합니다.
gcloud ai endpoints list \
--region=LOCATION_ID \
--filter=display_name=ENDPOINT_NAME
다음을 바꿉니다.
- LOCATION_ID: Vertex AI를 사용하는 리전
- ENDPOINT_NAME: 엔드포인트의 표시 이름
ENDPOINT_ID
열에 표시되는 번호를 확인합니다. 다음 단계에서 이 ID를 사용합니다.
REST
요청 데이터를 사용하기 전에 다음을 바꿉니다.
- LOCATION_ID: Vertex AI를 사용하는 리전
- PROJECT_ID: 프로젝트 ID
- ENDPOINT_NAME: 엔드포인트의 표시 이름
HTTP 메서드 및 URL:
GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints?filter=display_name=ENDPOINT_NAME
요청을 보내려면 다음 옵션 중 하나를 펼칩니다.
다음과 비슷한 JSON 응답이 표시됩니다.
{ "endpoints": [ { "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/endpoints/ENDPOINT_ID", "displayName": "ENDPOINT_NAME", "etag": "AMEw9yPz5pf4PwBHbRWOGh0PcAxUdjbdX2Jm3QO_amguy3DbZGP5Oi_YUKRywIE-BtLx", "createTime": "2020-04-17T18:31:11.585169Z", "updateTime": "2020-04-17T18:35:08.568959Z" } ] }
모델 배포
아래에서 언어 또는 환경에 대한 탭을 선택하세요.
gcloud
다음 예시에서는 gcloud ai endpoints deploy-model
명령어를 사용합니다.
다음 예시는 GPU를 사용하지 않고 Model
을 Endpoint
에 배포하여 여러 DeployedModel
리소스 간에 트래픽을 분할하지 않고 예측 서빙 속도를 높입니다.
아래의 명령어 데이터를 사용하기 전에 다음을 바꿉니다.
- ENDPOINT_ID: 엔드포인트의 ID
- LOCATION_ID: Vertex AI를 사용하는 리전
- MODEL_ID: 배포할 모델의 ID
-
DEPLOYED_MODEL_NAME:
DeployedModel
의 이름.DeployedModel
의Model
표시 이름도 사용할 수 있습니다. - MIN_REPLICA_COUNT: 이 배포의 최소 노드 수. 예측 로드 시 필요에 따라 최대 노드 수까지 노드 수를 늘리거나 줄일 수 있으며 이 노드 수 미만으로는 줄일 수 없습니다.
-
MAX_REPLICA_COUNT: 이 배포의 최대 노드 수.
예측 로드 시 필요에 따라 이 노드 수까지 노드 수를 늘리거나 줄일 수 있으며 최소 노드 수 미만으로는 줄일 수 없습니다.
--max-replica-count
플래그를 생략하면 최대 노드 수가--min-replica-count
값으로 설정됩니다.
gcloud ai endpoints deploy-model 명령어를 실행합니다.
Linux, macOS 또는 Cloud Shell
gcloud ai endpoints deploy-model ENDPOINT_ID\ --region=LOCATION_ID \ --model=MODEL_ID \ --display-name=DEPLOYED_MODEL_NAME \ --min-replica-count=MIN_REPLICA_COUNT \ --max-replica-count=MAX_REPLICA_COUNT \ --traffic-split=0=100
Windows(PowerShell)
gcloud ai endpoints deploy-model ENDPOINT_ID` --region=LOCATION_ID ` --model=MODEL_ID ` --display-name=DEPLOYED_MODEL_NAME ` --min-replica-count=MIN_REPLICA_COUNT ` --max-replica-count=MAX_REPLICA_COUNT ` --traffic-split=0=100
Windows(cmd.exe)
gcloud ai endpoints deploy-model ENDPOINT_ID^ --region=LOCATION_ID ^ --model=MODEL_ID ^ --display-name=DEPLOYED_MODEL_NAME ^ --min-replica-count=MIN_REPLICA_COUNT ^ --max-replica-count=MAX_REPLICA_COUNT ^ --traffic-split=0=100
트래픽 분할
앞의 예시에서 --traffic-split=0=100
플래그는 Endpoint
가 수신하는 예측 트래픽의 100%를 새 DeployedModel
로 전송하며 임시 ID는 0
으로 표현됩니다. Endpoint
에 이미 다른 DeployedModel
리소스가 있으면 새 DeployedModel
및 이전 모델 간에 트래픽을 분할할 수 있습니다.
예를 들어 트래픽의 20%를 새 DeployedModel
로, 80%를 이전 모델로 전송하려면 다음 명령어를 실행합니다.
아래의 명령어 데이터를 사용하기 전에 다음을 바꿉니다.
- OLD_DEPLOYED_MODEL_ID: 기존
DeployedModel
의 ID입니다.
gcloud ai endpoints deploy-model 명령어를 실행합니다.
Linux, macOS 또는 Cloud Shell
gcloud ai endpoints deploy-model ENDPOINT_ID\ --region=LOCATION_ID \ --model=MODEL_ID \ --display-name=DEPLOYED_MODEL_NAME \ --min-replica-count=MIN_REPLICA_COUNT \ --max-replica-count=MAX_REPLICA_COUNT \ --traffic-split=0=20,OLD_DEPLOYED_MODEL_ID=80
Windows(PowerShell)
gcloud ai endpoints deploy-model ENDPOINT_ID` --region=LOCATION_ID ` --model=MODEL_ID ` --display-name=DEPLOYED_MODEL_NAME \ --min-replica-count=MIN_REPLICA_COUNT ` --max-replica-count=MAX_REPLICA_COUNT ` --traffic-split=0=20,OLD_DEPLOYED_MODEL_ID=80
Windows(cmd.exe)
gcloud ai endpoints deploy-model ENDPOINT_ID^ --region=LOCATION_ID ^ --model=MODEL_ID ^ --display-name=DEPLOYED_MODEL_NAME \ --min-replica-count=MIN_REPLICA_COUNT ^ --max-replica-count=MAX_REPLICA_COUNT ^ --traffic-split=0=20,OLD_DEPLOYED_MODEL_ID=80
REST
모델 배포
요청 데이터를 사용하기 전에 다음을 바꿉니다.
- LOCATION_ID: Vertex AI를 사용하는 리전
- PROJECT_ID: 프로젝트 ID
- ENDPOINT_ID: 엔드포인트의 ID
- MODEL_ID: 배포할 모델의 ID
-
DEPLOYED_MODEL_NAME:
DeployedModel
의 이름.DeployedModel
의Model
표시 이름도 사용할 수 있습니다. -
MACHINE_TYPE: 선택사항. 이 배포의 각 노드에 사용되는 머신 리소스입니다. 기본 설정은
n1-standard-2
입니다. 머신 유형에 대해 자세히 알아보세요. - ACCELERATOR_TYPE: 머신에 연결할 가속기 유형. ACCELERATOR_COUNT가 지정되지 않았거나 0인 경우 선택사항입니다. GPU가 아닌 이미지를 사용하는 AutoML 모델 또는 커스텀 학습 모델에 사용하지 않는 것이 좋습니다. 자세히 알아보기
- ACCELERATOR_COUNT: 사용할 각 복제본의 가속기 수. 선택사항. GPU가 아닌 이미지를 사용하는 AutoML 모델 또는 커스텀 학습 모델의 경우 0이거나 지정되지 않은 상태여야 합니다.
- MIN_REPLICA_COUNT: 이 배포의 최소 노드 수. 예측 로드 시 필요에 따라 최대 노드 수까지 노드 수를 늘리거나 줄일 수 있으며 이 노드 수 미만으로는 줄일 수 없습니다. 값은 1 이상이어야 합니다.
- MAX_REPLICA_COUNT: 이 배포의 최대 노드 수. 예측 로드 시 필요에 따라 이 노드 수까지 노드 수를 늘리거나 줄일 수 있으며 최소 노드 수 미만으로는 줄일 수 없습니다.
- TRAFFIC_SPLIT_THIS_MODEL: 이 작업과 함께 배포되는 모델로 라우팅될 이 엔드포인트에 대한 예측 트래픽 비율입니다. 기본값은 100입니다. 모든 트래픽 비율의 합은 100이 되어야 합니다. 트래픽 분할에 대해 자세히 알아보기
- DEPLOYED_MODEL_ID_N: (선택사항) 다른 모델이 이 엔드포인트에 배포된 경우 모든 비율의 합이 100이 되도록 트래픽 분할 비율을 업데이트해야 합니다.
- TRAFFIC_SPLIT_MODEL_N: 배포된 모델 ID 키의 트래픽 분할 비율 값
- PROJECT_NUMBER: 프로젝트의 자동으로 생성된 프로젝트 번호
HTTP 메서드 및 URL:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel
JSON 요청 본문:
{ "deployedModel": { "model": "projects/PROJECT/locations/us-central1/models/MODEL_ID", "displayName": "DEPLOYED_MODEL_NAME", "dedicatedResources": { "machineSpec": { "machineType": "MACHINE_TYPE", "acceleratorType": "ACCELERATOR_TYPE", "acceleratorCount": "ACCELERATOR_COUNT" }, "minReplicaCount": MIN_REPLICA_COUNT, "maxReplicaCount": MAX_REPLICA_COUNT }, }, "trafficSplit": { "0": TRAFFIC_SPLIT_THIS_MODEL, "DEPLOYED_MODEL_ID_1": TRAFFIC_SPLIT_MODEL_1, "DEPLOYED_MODEL_ID_2": TRAFFIC_SPLIT_MODEL_2 }, }
요청을 보내려면 다음 옵션 중 하나를 펼칩니다.
다음과 비슷한 JSON 응답이 표시됩니다.
{ "name": "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeployModelOperationMetadata", "genericMetadata": { "createTime": "2020-10-19T17:53:16.502088Z", "updateTime": "2020-10-19T17:53:16.502088Z" } } }
Java
이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 Vertex AI Java API 참고 문서를 참조하세요.
Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
Python
Vertex AI SDK for Python을 설치하거나 업데이트하는 방법은 Vertex AI SDK for Python 설치를 참조하세요. 자세한 내용은 Python API 참고 문서를 확인하세요.
Node.js
이 샘플을 사용해 보기 전에 Vertex AI 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 Vertex AI Node.js API 참고 문서를 참조하세요.
Vertex AI에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
예측 로깅의 기본 설정을 변경하는 방법을 알아보세요.
작업 상태 가져오기
일부 요청은 완료하는 데 시간이 걸리는 장기 실행 작업을 시작합니다. 이러한 요청은 작업 상태를 보거나 작업을 취소하는 데 사용할 수 있는 작업 이름을 반환합니다. Vertex AI는 장기 실행 작업을 호출하는 도우미 메서드를 제공합니다. 자세한 내용은 장기 실행 작업 다루기를 참조하세요.
제한사항
- VPC 서비스 제어가 사용 설정된 경우 배포된 모델의 컨테이너가 인터넷에 액세스할 수 없습니다.
모델 배포 구성
모델 배포 시 온라인 예측을 실행하는 방법에 대해 다음과 같은 중요한 사항을 결정해야 합니다.
생성된 리소스 | 리소스 생성 시 지정된 설정 |
---|---|
엔드포인트 | 예측을 실행할 위치 |
모델 | 사용할 컨테이너(ModelContainerSpec ) |
DeployedModel | 온라인 예측에 사용할 머신 |
모델 또는 엔드포인트를 처음 생성한 후에는 나열된 이러한 설정을 업데이트할 수 없으며 온라인 예측 요청에서 이 설정을 재정의할 수 없습니다. 이러한 설정을 변경해야 하는 경우 모델을 다시 배포해야 합니다.
모델을 배포하면 발생하는 일
엔드포인트에 모델을 배포할 때 온라인 예측을 제공할 수 있도록 실제(머신) 리소스를 모델에 연결합니다. 온라인 예측은 지연 시간 요구사항이 낮습니다. 모델에 리소스를 미리 제공하면 지연 시간이 줄어듭니다.
모델의 학습 유형(AutoML 또는 커스텀) 및 (AutoML) 데이터 유형은 모델에 사용할 수 있는 물리적 리소스의 종류를 결정합니다. 모델을 배포한 후 새 배포를 만들지 않고도 이러한 리소스의 일부를 mutate
할 수 있습니다.
엔드포인트 리소스는 예측을 요청하는 데 사용하는 서비스 엔드포인트(URL)를 제공합니다. 예를 들면 다음과 같습니다.
https://us-central1-aiplatform.googleapis.com/v1/projects/{project}/locations/{location}/endpoints/{endpoint}:predict
동일한 엔드포인트에 둘 이상의 모델을 배포하는 이유
2개의 모델을 동일한 엔드포인트에 배포하면 한 모델을 다른 모델로 점진적으로 교체할 수 있습니다. 예를 들어 모델을 사용 중이고 새 학습 데이터로 이 모델의 정확도를 늘릴 수 있는 방법을 찾았다고 가정해보세요. 단, 새로운 엔드포인트 URL을 가리키도록 애플리케이션을 업데이트하거나, 애플리케이션에서 갑작스런 변경사항을 적용하기를 원하지 않습니다. 새 모델을 동일한 엔드포인트에 추가하고 소량의 트래픽을 서빙하여 새 모델이 트래픽의 100%를 처리할 때까지 점진적으로 트래픽을 분할을 늘릴 수 있습니다.
리소스는 엔드포인트가 아니라 모델과 연결되어 있으므로 여러 유형의 모델을 동일한 엔드포인트에 배포할 수 있습니다. 하지만 특정 유형의 모델(예: AutoML 테이블 형식, 커스텀 학습)을 엔드포인트에 배포하는 것이 가장 좋습니다. 이 구성은 더 쉽게 관리할 수 있습니다.
둘 이상의 엔드포인트에 하나의 모델을 배포하는 이유
테스트 및 프로덕션과 같은 여러 애플리케이션 환경에 대해 여러 리소스의 모델을 배포할 수 있습니다. 예측 요청에 대해 여러 SLO를 지원할 수도 있습니다. 애플리케이션 중 하나의 성능 요구사항이 다른 애플리케이션보다 훨씬 높을 수 있습니다. 이 경우 더 많은 머신 리소스를 사용하여 고성능 엔드포인트에 모델을 배포할 수 있습니다. 비용을 최적화하기 위해 머신 리소스를 줄여서 성능이 낮은 엔드포인트에 모델을 배포할 수도 있습니다.
확장 동작
온라인 예측을 위해 모델을 DeployedModel
로 배포할 때 예측 노드가 자동으로 확장되도록 구성할 수 있습니다. dedicatedResources.maxReplicaCount
를 dedicatedResources.minReplicaCount
보다 큰 값으로 설정하면 됩니다.
DeployedModel
을 구성할 때 dedicatedResources.minReplicaCount
를 1 이상으로 설정해야 합니다. 즉, 사용하지 않을 때 DeployedModel
이 예측 노드 0개로 축소되도록 구성할 수 없습니다.
타겟 사용률 및 구성
기본적으로 전용 GPU 리소스가 없는 모델을 배포하면 Vertex AI가 자동으로 복제본 수를 확장하거나 CPU 사용량이 기본값인 60% 목표 값과 일치하도록 값을 낮춰줍니다.
기본적으로 전용 GPU 리소스가 있는 모델을 배포하면(machineSpec.accelerator_count
가 0보다 큰 경우) Vertex AI가 자동으로 복제본 수를 확장하거나 CPU 또는 GPU 사용량이 기본값인 60% 목표 값과 일치하도록 값을 낮춰줍니다. 따라서 예측 처리량에 따라 높은 GPU 사용량이 발생하지만 CPU 사용량이 높지 않으면 Vertex AI가 수직 확장되며 CPU 사용률은 매우 낮아서 모니터링에 표시됩니다. 반대로, 커스텀 컨테이너의 GPU 사용률이 낮지만 관련 없는 프로세스에서 CPU 사용률이 60%를 초과하는 경우 QPS와 지연 시간 목표를 달성하는 데 필요하지 않더라도 Vertex AI가 수직 확장됩니다.
autoscalingMetricSpecs
를 지정하여 기본 기준점 측정항목과 대상을 재정의할 수 있습니다.
CPU 사용량만을 기준으로 확장하도록 배포가 구성된 경우 GPU 사용량이 많아도 수직 확장되지 않습니다.
리소스 사용량 관리
엔드포인트를 모니터링하여 CPU 및 가속기 사용량, 요청 수, 지연 시간, 현재 및 타겟 복제본 수와 같은 측정항목을 추적할 수 있습니다. 이 정보를 통해 엔드포인트의 리소스 사용량과 확장 동작을 파악할 수 있습니다.
각 복제본은 컨테이너 하나만 실행한다는 점에 유의하세요. 즉, 멀티 코어 머신의 단일 스레드 코드 또는 예측 과정에서 다른 서비스를 호출하는 커스텀 모델과 같이 예측 컨테이너에서 선택한 컴퓨팅 리소스를 완전히 활용하지 못하는 경우, 노드가 수직 확장되지 않을 수 있습니다.
예를 들어 FastAPI 또는 작업자 수와 스레드를 구성할 수 있는 모델 서버를 사용하는 경우 작업자가 2명 이상 있어 리소스 사용률이 증가하는 경우가 많은데, 이렇게 되면 서비스가 복제본 수를 자동으로 확장하는 기능이 향상됩니다.
일반적으로 코어당 하나의 작업자나 스레드로 시작하는 것이 좋습니다. 특히 부하가 높은 상황에서 CPU 사용률이 낮거나 CPU 사용률이 낮아 모델이 수직 확장되지 않으면 작업자 수를 늘리세요. 반면 사용률이 너무 높고 부하가 걸렸을 때 지연 시간이 예상보다 크게 증가하면 작업자를 줄여보세요. 이미 단일 작업자만 사용 중인 경우 더 작은 머신 유형을 사용해 보세요.
확장 동작 및 지연
Vertex AI는 이전 5분 동안의 데이터를 사용하여 15초마다 복제본 수를 조정합니다. 15초 주기마다 시스템은 서버 사용률을 측정하고 다음 공식에 따라 대상 복제본 수를 생성합니다.
target # of replicas = Ceil(current # of replicas * (current utilization / target utilization))
예를 들어 사용률이 100%인 복제본이 2개 있는 경우 대상은 4입니다.
4 = Ceil(3.33) = Ceil(2 * (100% / 60%))
또 다른 예시로, 복제본이 10개 있고 사용률이 1%로 떨어지면 대상은 1입니다.
1 = Ceil(.167) = Ceil(10 * (1% / 60%))
각 15초 주기가 끝나면 시스템은 이전 5분 동안의 가장 높은 목표 값과 일치하도록 복제본 수를 조정합니다. 가장 높은 목표 값을 선택하면 전체 사용률이 매우 낮더라도 이 5분 기간 동안 사용률이 급증하는 경우 엔드포인트가 축소되지 않습니다. 반면 시스템을 수직 확장해야 하는 경우 평균 대신 가장 높은 목표 값이 선택되기 때문에 15초 이내에 수직 확장이 수행됩니다.
Vertex AI에서 복제본 수를 조정해도 복제본을 시작하거나 중지하는 데 시간이 걸립니다. 따라서 엔드포인트가 트래픽에 맞게 조정되기까지 추가 지연이 발생합니다. 이 기간에 영향을 미치는 주요 요소는 다음과 같습니다.
- Compute Engine VM을 프로비저닝하고 시작하는 데 걸리는 시간
- 레지스트리에서 컨테이너를 다운로드하는 시간
- 스토리지에서 모델을 로드하는 시간
모델의 실제 확장 동작을 이해하는 가장 좋은 방법은 부하 테스트를 실행하고 모델 및 사용 사례에 중요한 특성을 최적화하는 것입니다. 자동 확장 처리가 애플리케이션에 충분히 빠르게 확장되지 않으면 예상 기준 트래픽을 처리하기에 충분한 min_replicas
를 프로비저닝하세요.
확장 구성 업데이트
모델을 배포할 때 DedicatedResources
또는 AutomaticResources
를 지정한 경우 mutateDeployedModel
을 호출하여 모델을 다시 배포하지 않고 확장 구성을 업데이트할 수 있습니다.
예를 들어 다음 요청은 max_replica
, autoscaling_metric_specs
를 업데이트하고 컨테이너 로깅을 사용 중지합니다.
{
"deployedModel": {
"id": "2464520679043629056",
"dedicatedResources": {
"maxReplicaCount": 9,
"autoscalingMetricSpecs": [
{
"metricName": "aiplatform.googleapis.com/prediction/online/cpu/utilization",
"target": 50
}
]
},
"disableContainerLogging": true
},
"update_mask": {
"paths": [
"dedicated_resources.max_replica_count",
"dedicated_resources.autoscaling_metric_specs",
"disable_container_logging"
]
}
}
사용 참고사항:
- 머신 유형을 변경하거나
DedicatedResources
에서AutomaticResources
로 또는 그 반대로 전환할 수 없습니다. 변경할 수 있는 유일한 확장 구성 필드는min_replica
,max_replica
,AutoscalingMetricSpec
(DedicatedResources
만 해당)입니다. updateMask
에 업데이트하려는 모든 필드를 나열해야 합니다. 나열되지 않은 필드는 무시됩니다.- DeployedModel은
DEPLOYED
상태여야 합니다. 배포된 모델당 활성 변형 작업은 최대 하나만 가능합니다. - 또한
mutateDeployedModel
을 사용하면 컨테이너 로깅을 사용 설정 또는 사용 중지할 수 있습니다. 자세한 내용은 온라인 예측 로깅을 참조하세요.
모델 배포 취소 및 엔드포인트 삭제
다음 방법 중 하나를 사용하여 모델을 배포 해제하고 엔드포인트를 삭제합니다.
Google Cloud 콘솔
다음과 같이 모델 배포를 취소합니다.
Google Cloud 콘솔의 Vertex AI 섹션에서 엔드포인트 페이지로 이동합니다.
배포 해제하려는 모델의 이름과 버전 ID를 클릭하여 세부정보 페이지를 엽니다.
모델 행에서
작업을 클릭한 다음 엔드포인트에서 모델 배포 취소를 클릭합니다.엔드포인트에서 모델 배포 취소 대화상자에서 배포 취소를 클릭합니다.
모델을 더 삭제하려면 이전 단계를 반복합니다.
선택사항: 다음과 같이 온라인 예측 엔드포인트를 삭제합니다.
Google Cloud 콘솔의 Vertex AI 섹션에서 온라인 예측 페이지로 이동합니다.
엔드포인트를 선택합니다.
엔드포인트를 삭제하려면
작업을 클릭한 다음 엔드포인트 삭제를 클릭합니다.
gcloud
프로젝트의 모든 엔드포인트의 엔드포인트 ID를 나열합니다.
gcloud ai endpoints list \ --project=PROJECT_ID \ --region=LOCATION_ID
PROJECT_ID를 프로젝트 이름으로, LOCATION_ID을 Vertex AI를 사용하는 리전으로 바꿉니다.
엔드포인트에 배포된 모델의 모델 ID를 나열합니다.
gcloud ai endpoints describe ENDPOINT_ID \ --project=PROJECT_ID \ --region=LOCATION_ID
ENDPOINT_ID를 엔드포인트 ID로 바꿉니다.
엔드포인트에서 모델 배포를 취소하려면 다음 단계를 따르세요.
gcloud ai endpoints undeploy-model ENDPOINT_ID \ --project=PROJECT_ID \ --region=LOCATION_ID \ --deployed-model-id=DEPLOYED_MODEL_ID
DEPLOYED_MODEL_ID를 모델 ID로 바꿉니다.
선택사항: 온라인 예측 엔드포인트를 삭제합니다.
gcloud ai endpoints delete ENDPOINT_ID \ --project=PROJECT_ID \ --region=LOCATION_ID
다음 단계
- 온라인 예측 가져오기 방법 알아보기
- 비공개 엔드포인트에 대해 알아보세요.