Model Garden은 Google 및 Google 파트너의 모델 및 애셋을 검색, 테스트, 맞춤설정, 배포할 수 있게 도와주는 AI/ML 모델 라이브러리입니다.
Model Garden의 이점
AI 모델 작업을 수행할 때 Model Garden은 다음과 같은 이점을 제공합니다.
- 사용 가능한 모델이 모두 단일 위치에 그룹화됩니다.
- Model Garden은 여러 유형의 모델에 대해 일관적인 배포 패턴을 제공합니다.
- Model Garden은 모델 조정, 평가, 서빙과 같은 Vertex AI의 여러 부분에 대해 기본적으로 지원되는 통합 기능을 제공합니다.
- 생성형 AI 모델 서빙은 어려운 작업일 수 있습니다. Vertex AI는 모델 배포 및 서빙을 자동으로 처리합니다.
모델 살펴보기
사용 가능한 Vertex AI 목록과 조정 가능하고 특정 태스크에 해당하는 오픈소스 기반 모델을 보려면 Google Cloud 콘솔에서 Model Garden 페이지로 이동합니다.
Model Garden에서 제공하는 모델 카테고리는 다음과 같습니다.
| 카테고리 | 설명 |
|---|---|
| 기반 모델 | Vertex AI Studio, Vertex AI API, Python용 Vertex AI SDK를 사용하여 특정 태스크에 대해 조정하거나 맞춤설정할 수 있는 사전 학습된 멀티태스크 대규모 모델입니다. |
| 미세 조정 가능한 모델 | 커스텀 노트북 또는 파이프라인을 사용하여 미세 조정할 수 있는 모델입니다. |
| 태스크별 솔루션 | 이와 같이 사전 빌드된 모델은 대부분 즉시 사용 가능하며 자체 데이터를 사용하여 맞춤설정할 수 있는 경우가 많습니다. |
필터 창에서 모델을 필터링하려면 다음을 지정합니다.
- 형식: 모델에서 원하는 형식(데이터 유형)을 클릭합니다.
- 태스크: 모델로 수행할 태스크를 클릭합니다.
- 기능: 모델에서 지원하려는 기능을 클릭합니다.
- 공급업체: 모델의 공급업체를 클릭합니다.
각 모델에 대해 자세히 알아보려면 모델 카드를 클릭하세요.
Model Garden에서 사용할 수 있는 모델 목록은 Model Garden에서 사용 가능한 모델을 참조하세요.
모델 보안 스캔
Google은 Google에서 제공되는 모델 서빙 및 조정 컨테이너에 대해 철저한 테스트와 벤치마크를 수행합니다. 이러한 컨테이너 아티팩트에 대해서는 취약점 스캔도 적극적으로 수행합니다.
Model Garden은 포함된 파트너의 서드 파티 모델에 대해 모델 체크포인트 스캔을 수행하여 진위 여부를 확인합니다. HuggingFace Hub의 서드 파티 모델은 HuggingFace에서 직접 스캔되며 서드 파트 스캐너를 사용하여 멀웨어, 피클 파일, Keras 람다 레이어, 보안 비밀을 확인합니다. 스캔 결과 모델이 안전하지 않다고 판단되면 HuggingFace에서 플래그를 지정하여 Model Garden에 배포할 수 없도록 차단됩니다. 의심스럽거나 원격 코드를 실행할 수 있는 것으로 표시된 모델은 Model Garden에 표시되더라도 여전히 배포할 수 있습니다. 하지만 Model Garden에서 이를 배포하기 전에 의심스러운 모델을 주의 깊게 검사하는 것이 좋습니다.
가격 책정
Model Garden의 오픈소스 모델의 경우 Vertex AI에서 다음 항목의 사용에 따라 요금이 부과됩니다.
- 모델 미세 조정: 커스텀 학습과 동일한 요율로 사용되는 컴퓨팅 리소스에 대한 요금이 부과됩니다. 커스텀 학습 가격 책정을 참조하세요.
- 모델 배포: 모델을 엔드포인트에 배포하는 데 사용되는 컴퓨팅 리소스에 대한 요금이 부과됩니다. 예측 가격 책정을 참조하세요.
- Colab Enterprise: Colab Enterprise 가격 책정을 참고하세요.
특정 모델에 대한 액세스 제어
조직, 폴더 또는 프로젝트 수준에서 Model Garden 조직 정책을 설정하여 Model Garden의 특정 모델에 대한 액세스를 제어할 수 있습니다. 예를 들어 검증된 특정 모델에 대한 액세스를 허용하고 다른 모든 모델에 대한 액세스를 거부할 수 있습니다.
Model Garden 자세히 알아보기
Model Garden에서 모델에 수행할 수 있는 배포 옵션 및 맞춤설정에 대한 자세한 내용은 튜토리얼, 참조, 노트북, YouTube 동영상 링크가 포함된 다음 섹션의 리소스를 참조하세요.
배포 및 서빙
배포 및 고급 서빙 기능의 맞춤설정에 대해 자세히 알아보세요.
- Gemma 배포 및 예측 수행
- Cloud TPU에서 Hex-LLM 컨테이너를 사용하여 오픈소스 모델 서빙
- Hex-LLM 또는 vLLM으로 프리픽스 캐싱 및 추측 디코딩 사용 튜토리얼 노트북
- Cloud GPU에서 vLLM을 사용하여 텍스트 전용 및 멀티모달 언어 모델 서빙
- 이미지 및 동영상 생성을 위한 xDiT GPU 서빙 컨테이너 사용
- PyTorch 추론을 위해 HuggingFace DLC를 사용하고 여러 LoRA 어댑터가 적용된 Gemma 2를 서빙하는 방법 Medium 튜토리얼
- PyTorch 추론을 위해 HuggingFace DLC를 사용하고 커스텀 핸들을 사용하여 이미지 캡셔닝을 위해 PaliGemma를 서빙하는 방법 LinkedIn 튜토리얼
- Spot VM 또는 Compute Engine 예약을 사용하는 모델 배포 및 서빙 튜토리얼 노트북
조정
특정 사용 사례에 맞게 응답을 조정하려면 조정 모델에 대해 자세히 알아보세요.
평가
Vertex AI를 사용하여 모델 응답에 액세스하는 방법을 자세히 알아보세요.