Hugging Face는 선행 학습된 모델, 미세 조정 스크립트, 개발 API를 제공하므로 LLM을 더 쉽게 만들고 탐색할 수 있습니다. Model Garden은 HuggingFace에 텍스트 임베딩, 텍스트 이미지 변환, 텍스트 생성, 이미지 텍스트 변환 모델을 제공할 수 있습니다.
Hugging Face 모델의 배포 옵션
Vertex AI 또는 Google Kubernetes Engine(GKE)에서 지원되는 Hugging Face 모델을 배포할 수 있습니다. 선택하는 배포 옵션은 사용 중인 모델과 원하는 워크로드 제어 수준에 따라 다를 수 있습니다.
Vertex AI에 배포
Vertex AI는 사내 MLOps 전문 지식 없이도 머신러닝 프로젝트를 빌드 및 확장할 수 있는 관리형 플랫폼을 제공합니다. Vertex AI를 Hugging Face 모델을 제공하는 다운스트림 애플리케이션으로 사용할 수 있습니다. 엔드 투 엔드 MLOps 역량, 고급형 ML 기능, 간소화된 개발을 위한 서버리스 환경이 필요한 경우 Vertex AI를 사용하는 것이 좋습니다.
Vertex AI에서 지원되는 Hugging Face 모델을 배포하려면 Model Garden으로 이동합니다.
Hugging Face의 오픈 모델 섹션으로 이동하고 자세히 보기를 클릭합니다.
배포할 모델을 찾아서 선택합니다.
선택사항: 배포 환경에 대해 Vertex AI를 선택합니다.
선택사항: 배포 세부정보를 지정합니다.
배포를 클릭합니다.
시작하려면 다음 예시를 참조하세요.
- 일부 모델에는 자세한 모델 카드가 있으며 Google에서 배포 설정을 확인합니다(예: google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct, Qwen/QwQ-32B, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, black-forest-labs/FLUX.1-dev, HuggingFaceFW/fineweb-edu-classifier).
- 일부 모델에는 Google에서 확인된 배포 설정이 포함되지만 NousResearch/Genstruct-7B와 같은 세부 모델 카드가 없습니다.
- 일부 모델에는 자동으로 생성된 배포 설정이 있습니다.
- 일부 모델에는 텍스트 생성, 텍스트 임베딩, 텍스트 이미지 변환 생성, 이미지 텍스트 변환의 최신 인기 모델과 같은 모델 메타데이터에 기반한 자동 생성 배포 설정이 있습니다.
GKE에 배포
Google Kubernetes Engine(GKE)은 확장성, 보안, 복원력, 비용 효율성을 제공하는 관리형 Kubernetes용 Google Cloud 솔루션입니다. Kubernetes를 이미 도입했거나 조직 내부에 MLOps 전문가가 있거나 특별한 보안, 데이터 파이프라인, 리소스 관리 요구사항에 따라 복잡한 AI/ML 워크로드를 세밀하게 제어해야 하는 경우 이 옵션을 사용하는 것이 좋습니다.
GKE에서 지원되는 Hugging Face 모델을 배포하려면 Model Garden으로 이동합니다.
Hugging Face의 오픈 모델 섹션으로 이동하고 자세히 보기를 클릭합니다.
배포할 모델을 찾아서 선택합니다.
배포 환경에서 GKE를 선택합니다.
배포 안내를 따르세요.
시작하려면 다음 예시를 참조하세요.
- 일부 모델에는 자세한 모델 카드와 확인된 배포 설정이 있습니다(예: google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct, Qwen/QwQ-32B).
- 일부 모델에는 확인된 배포 설정이 있지만 NousResearch/Genstruct-7B와 같은 자세한 모델 카드가 없습니다.
'Vertex AI 지원'은 무슨 의미인가요?
가장 인기 있는 최신 Hugging Face 모델이 Model Garden에 자동으로 추가됩니다. 이 프로세스에서는 각 모델의 배포 구성을 자동으로 생성합니다.
취약점 및 악성 코드와 관련된 우려사항이 해결되도록 Google은 Hugging Face 멀웨어 검사기를 사용하여 매일 각 Hugging Face 모델 저장소 내 파일의 안전성을 평가합니다. 모델 저장소에 멀웨어가 있다고 신고되면 Hugging Face 갤러리 페이지에서 모델이 즉시 삭제됩니다.
모델이 Vertex AI에서 지원됨으로 지정되었다고 해서 테스트를 거쳤으며 Vertex AI에 배포할 수 있다는 의미는 아니며 Google은 취약점이나 악성 코드가 없음을 보장하지 않습니다. 모델을 프로덕션 환경에 배포하기 전에 자체 보안 확인을 수행하는 것이 좋습니다.
특정 사용 사례에 맞게 배포 구성 조정
원클릭 배포 옵션과 함께 제공되는 기본 배포 구성은 다양한 사용 사례와 지연 시간, 처리량, 비용, 정확성에 따른 우선순위 변화로 인해 모든 요구사항을 충족할 수 없습니다.
따라서 처음에는 원클릭 배포를 실험하여 기준을 설정한 후 Colab 노트북(vLLM, TGI, TEI, HF pytorch 추론) 또는 Python SDK를 사용하여 배포 구성을 미세 조정할 수 있습니다. 이 반복적인 방식을 사용하면 특정 애플리케이션에 최적의 성능을 제공하기 위해 정확한 니즈에 맞게 배포를 조정할 수 있습니다.
원하는 모델이 Model Garden에 표시되지 않는 경우 어떻게 해야 하나요?
Model Garden에 나열되지 않은 특정 모델을 찾고 있다면 Vertex AI에서 지원하지 않는 모델입니다. 다음 섹션에서는 추론과 취할 수 있는 조치를 설명합니다.
모델이 표시되지 않는 이유는 무엇인가요?
다음에서는 모델이 Model Garden에 표시되지 않는 이유를 설명합니다.
- 인기가 많은 모델이 아닙니다. Google은 널리 사용되고 커뮤니티에서 높은 관심을 보이는 모델을 우선시하는 경우가 많습니다.
- 아직 호환되지 않습니다. 모델이 지원되는 서빙되는 컨테이너에서 작동하지 않을 수 있습니다. 예를 들면
text-generation및image-text-to-text모델의 vLLM 컨테이너가 있습니다. - 지원되지 않는 파이프라인 태스크: 모델에 현재 아직 완전히 지원되지 않는 태스크가 있습니다.
text-generation,text2text-generation,text-to-image,feature-extraction,sentence-similarity,image-text-to-text태스크가 지원됩니다.
어떤 옵션이 있나요?
Model Garden에서 제공하는 모델을 계속 사용할 수 있습니다.
- Colab 노트북을 사용하여 직접 배포: 커스텀 구성으로 모델을 유연하게 배포할 수 있는 Colab 노트북(vLLM, TGI, TEI, HF pytorch 추론)이 있습니다. 이렇게 하면 프로세스를 완전히 제어할 수 있습니다.
- 기능 요청 제출: 지원 엔지니어와 협력하여 Model Garden을 통해 기능 요청을 제출하거나 Vertex 생성형 AI 지원을 참조하여 추가 도움을 요청하세요.
- 업데이트 확인: Model Garden에는 정기적으로 새로운 모델이 추가됩니다. 원하는 모델이 향후 제공될 수 있으니 주기적으로 다시 확인하세요.