Model Garden은 Google 및 Google 파트너의 모델과 애셋을 탐색, 테스트, 맞춤설정, 배포할 수 있는 AI/ML 모델 라이브러리입니다.
Model Garden의 이점
AI 모델을 사용할 때 Model Garden은 다음과 같은 이점을 제공합니다.
- 사용 가능한 모델이 모두 한곳에 그룹화되어 있음
- Model Garden은 다양한 유형의 모델에 일관된 배포 패턴을 제공합니다.
- Model Garden은 모델 미세 조정, 평가, 서비스와 같은 Vertex AI의 다른 부분과 기본적으로 통합됩니다.
- 생성형 AI 모델을 제공하는 것은 쉽지 않을 수 있습니다. Vertex AI가 모델 배포 및 제공을 대신 처리합니다.
모델 살펴보기
사용 가능한 Vertex AI 목록과 조정 가능하고 특정 태스크에 해당하는 오픈소스 기반 모델을 보려면 Google Cloud 콘솔에서 Model Garden 페이지로 이동합니다.
Model Garden에서 제공하는 모델 카테고리는 다음과 같습니다.
| 카테고리 | 설명 |
|---|---|
| 기반 모델 | Vertex AI Studio, Vertex AI API, Python용 Vertex AI SDK를 사용하여 특정 태스크에 대해 조정하거나 맞춤설정할 수 있는 사전 학습된 멀티태스크 대규모 모델입니다. |
| 미세 조정 가능한 모델 | 커스텀 노트북 또는 파이프라인을 사용하여 미세 조정할 수 있는 모델입니다. |
| 태스크별 솔루션 | 이와 같이 사전 빌드된 모델은 대부분 즉시 사용 가능하며 자체 데이터를 사용하여 맞춤설정할 수 있는 경우가 많습니다. |
필터 창에서 모델을 필터링하려면 다음을 지정합니다.
- 형식: 모델에서 원하는 형식 (데이터 유형)을 클릭합니다.
- 태스크: 모델로 수행할 태스크를 클릭합니다.
- 기능: 모델에서 지원하려는 기능을 클릭합니다.
- 제공업체: 모델의 제공업체를 클릭합니다.
각 모델에 대해 자세히 알아보려면 모델 카드를 클릭하세요.
Model Garden에서 사용할 수 있는 모델 목록은 Model Garden에서 사용할 수 있는 모델을 참고하세요.
모델 보안 검사
Google은 제공하는 게재 및 조정 컨테이너에 대해 철저한 테스트와 벤치마킹을 실시합니다. 능동적 취약점 스캔은 컨테이너 아티팩트에도 적용됩니다.
추천 파트너의 서드 파티 모델은 진위를 확인하기 위해 모델 체크포인트 스캔을 거칩니다. HuggingFace Hub의 서드 파티 모델은 Hugging Face 및 서드 파티 스캐너에서 직접 멀웨어, 피클 파일, Keras Lambda 레이어, 시크릿을 검사합니다. 이러한 검사에서 안전하지 않은 것으로 간주되는 모델은 HuggingFace에서 신고되고 Model Garden에서 배포가 차단됩니다. 의심스러운 것으로 간주되거나 원격 코드를 실행할 수 있는 모델은 Model Garden에 표시되지만 배포할 수는 있습니다. 의심스러운 모델은 Model Garden에 배포하기 전에 철저히 검토하는 것이 좋습니다.
가격 책정
Model Garden의 오픈소스 모델의 경우 Vertex AI에서 다음을 사용하면 요금이 청구됩니다.
- 모델 미세 조정: 커스텀 학습과 동일한 요율로 사용되는 컴퓨팅 리소스에 대한 요금이 부과됩니다. 커스텀 학습 가격 책정을 참고하세요.
- 모델 배포: 엔드포인트에 모델을 배포하는 데 사용되는 컴퓨팅 리소스에 대한 요금이 부과됩니다. 예측 가격 책정을 참고하세요.
- Colab Enterprise: Colab Enterprise 가격 책정을 참고하세요.
특정 모델에 대한 액세스 제어
조직, 폴더 또는 프로젝트 수준에서 Model Garden 조직 정책을 설정하여 Model Garden의 특정 모델에 대한 액세스를 제어할 수 있습니다. 예를 들어 검증된 특정 모델에 대한 액세스를 허용하고 다른 모든 모델에 대한 액세스를 거부할 수 있습니다.
Model Garden 자세히 알아보기
Model Garden의 모델로 수행할 수 있는 배포 옵션 및 맞춤설정에 관한 자세한 내용은 튜토리얼, 참조, 노트북, YouTube 동영상 링크가 포함된 다음 섹션의 리소스를 참고하세요.
배포 및 제공
배포 맞춤설정 및 고급 게재 기능에 대해 자세히 알아보세요.
- Gemma 배포 및 예측 실행
- Cloud TPU에서 Hex-LLM 컨테이너를 사용하여 개방형 모델 서빙
- Hex-LLM 또는 vLLM 튜토리얼 노트북에서 접두사 캐싱 및 추측 디코딩 사용
- vLLM을 사용하여 Cloud GPU에서 텍스트 전용 및 멀티모델 언어 모델 제공
- 이미지 및 동영상 생성에 xDiT GPU 게재 컨테이너 사용
- Medium의 PyTorch 추론을 위한 HuggingFace DLC로 여러 LoRA 어댑터로 Gemma 2 제공 튜토리얼
- 커스텀 핸들을 사용하여 LinkedIn의 PyTorch 추론 튜토리얼용 HuggingFace DLC로 이미지 자막을 위한 PaliGemma 제공
- Spot VM 또는 Compute Engine 예약 튜토리얼 노트북을 사용하는 모델 배포 및 제공
조정
특정 사용 사례에 맞게 응답을 조정하도록 모델을 조정하는 방법을 자세히 알아보세요.
평가
Vertex AI로 모델 응답 평가 자세히 알아보기