Model Garden ist eine KI/ML-Modellbibliothek, mit der Sie Modelle und Assets von Google und Google-Partnern entdecken, testen, anpassen und bereitstellen können.
Vorteile von Model Garden
Wenn Sie mit KI-Modellen arbeiten, bietet Model Garden die folgenden Vorteile:
- Alle verfügbaren Modelle sind an einem zentralen Ort gruppiert.
- Model Garden bietet ein einheitliches Bereitstellungsmuster für verschiedene Arten von Modellen.
- Model Garden bietet eine integrierte Integration mit anderen Teilen von Vertex AI, z. B. Modellabstimmung, ‑bewertung und ‑bereitstellung.
- Die Bereitstellung von Modellen basierend auf generativer KI kann schwierig sein. Vertex AI übernimmt die Bereitstellung und Bereitstellung von Modellen für Sie.
Modelle entdecken
Die Liste der verfügbaren Vertex AI- und Open-Source-Foundation Models sowie der abstimmbaren und aufgabenspezifischen Modelle finden Sie in derGoogle Cloud Console auf der Seite „Model Garden“.
Folgende Modellkategorien sind in Model Garden verfügbar:
| Kategorie | Beschreibung |
|---|---|
| Basismodelle | Vortrainierte große Modelle mit mehreren Aufgaben, die mithilfe von Vertex AI Studio, Vertex AI API und Vertex AI SDK für Python für bestimmte Aufgaben optimiert oder angepasst werden können. |
| Abstimmbare Modelle | Modelle, die Sie mit einem benutzerdefinierten Notebook oder einer Pipeline optimieren können |
| Aufgabenspezifische Lösungen | Die meisten dieser vordefinierten Modelle sind einsatzbereit. Viele können mit Ihren eigenen Daten angepasst werden. |
Geben Sie Folgendes an, um Modelle im Filterbereich zu filtern:
- Aufgaben: Klicken Sie auf die Aufgabe, die das Modell ausführen soll.
- Modellsammlungen: Klicken Sie hier, um Modelle auszuwählen, die von Google, Partnern oder Ihnen verwaltet werden.
- Anbieter: Klicken Sie auf den Anbieter des Modells.
- Features: Klicken Sie auf die gewünschten Features im Modell.
Weitere Informationen zu den einzelnen Modellen erhalten Sie, wenn Sie auf die Modellkarte klicken.
Eine Liste der in Model Garden verfügbaren Modelle finden Sie unter In Model Garden verfügbare Modelle.
Sicherheitsscans für Modelle
Google führt gründliche Tests und Benchmarks für die von uns bereitgestellten Serving- und Tuning-Container durch. Das aktive Scannen auf Sicherheitslücken wird auch auf Containerartefakte angewendet.
Drittanbietermodelle von ausgewählten Partnern werden auf Authentizität geprüft. Drittanbietermodelle aus dem Hugging Face Hub werden direkt von Hugging Face und dem Drittanbieterscanner auf Malware, Pickle-Dateien, Keras Lambda-Ebenen und Secrets gescannt. Modelle, die bei diesen Scans als unsicher eingestuft werden, werden von Hugging Face gekennzeichnet und können nicht in Model Garden bereitgestellt werden. Modelle, die als verdächtig eingestuft werden oder die potenziell Remote-Code ausführen können, werden in Model Garden entsprechend gekennzeichnet, können aber trotzdem bereitgestellt werden. Wir empfehlen, verdächtige Modelle vor der Bereitstellung in Model Garden gründlich zu prüfen.
Preise
Für die Open-Source-Modelle in Model Garden wird Ihnen die Nutzung von Vertex AI in Rechnung gestellt:
- Modelloptimierung: Ihnen werden die verwendeten Compute-Ressourcen zum gleichen Preis wie das benutzerdefinierte Training in Rechnung gestellt. Siehe Benutzerdefinierte Trainingspreise.
- Modellbereitstellung: Ihnen werden die Rechenressourcen in Rechnung gestellt, die zur Bereitstellung des Modells auf einem Endpunkt verwendet wurden. Siehe Preise für Vorhersagen.
- Colab Enterprise: Siehe Colab Enterprise-Preise.
Zugriff auf bestimmte Modelle steuern
Sie können eine Model Garden-Organisationsrichtlinie auf Organisations-, Ordner- oder Projektebene festlegen, um den Zugriff auf bestimmte Modelle in Model Garden zu steuern. Sie können beispielsweise den Zugriff auf bestimmte Modelle zulassen, die Sie geprüft haben, und den Zugriff auf alle anderen Modelle verweigern.
Weitere Informationen zu Model Garden
Weitere Informationen zu den Bereitstellungsoptionen und Anpassungen, die Sie mit Modellen in Model Garden vornehmen können, finden Sie in den Ressourcen in den folgenden Abschnitten. Diese enthalten Links zu Tutorials, Referenzen, Notebooks und YouTube-Videos.
Bereitstellen und bereitstellen
Weitere Informationen zum Anpassen von Bereitstellungen und erweiterten Bereitstellungsfunktionen.
- Open-Source-Modell mit dem Python SDK, der Befehlszeile, der REST API oder der Console bereitstellen und ausführen
- Gemma 3 in Model Garden bereitstellen und abstimmen – YouTube-Video
- Gemma bereitstellen und Vorhersagen treffen
- Offene Modelle mit einem Hex-LLM-Container auf Cloud TPUs bereitstellen
- Llama-Modelle mit Hex-LLM bereitstellen
- Notebook mit Tutorial zum Verwenden von Präfix-Caching und spekulativer Decodierung mit Hex-LLM oder vLLM
- Nur-Text- und multimodale Language Models mit vLLM auf Cloud-GPUs bereitstellen
- xDiT-GPU-Bereitstellungscontainer für die Bild- und Videogenerierung verwenden
- Tutorial auf Medium zum Bereitstellen von Gemma 2 mit mehreren LoRA-Adaptern und Hugging Face DLC für PyTorch-Inferenzen
- Tutorial auf LinkedIn zum Verwenden benutzerdefinierter Handler, um PaliGemma für Bildunterschriften mit Hugging Face DLC für PyTorch-Inferenzen bereitzustellen
- Notebook mit Tutorial zum Bereitstellen und Ausführen eines Modells, das Spot-VMs oder Compute Engine-Reservierungen verwendet
- Hugging Face-Modell bereitstellen und ausführen
Container-Compliance
Model Garden bietet die folgenden FedRAMP High-kompatiblen Container für die Bereitstellung von Modellen.
| Containername | Unterstützte Aufgaben | Container-Image-Version | Notebook-Beispiel |
|---|---|---|---|
| PyTorch Inference v0.1 | audio2text text2image zero-shot-image-classification zero-shot-object-detection csm_text2speech dia_text2speech image-to-text visual-question-answering instant-id janus_text2image janus_text_generation mask-generation nllb_translation paligemma_v2 pix2pix |
us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/pytorch-inference.cu125.0-1.ubuntu2204.py310:model-garden.pytorch-inference-0-1-gpu-release_20250727.00_p0 Hinweis: Die erkannte Sicherheitslücke CVE-2024-12797 wird im Container als Falschmeldung betrachtet. |
Whisper Large V3 (Bereitstellung) |
| PyTorch Inference v0.4 | audio2text text2image zero-shot-image-classification zero-shot-object-detection csm_text2speech dia_text2speech image-to-text visual-question-answering instant-id janus_text2image janus_text_generation mask-generation nllb_translation paligemma_v2 pix2pix |
us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/pytorch-inference.cu125.0-4.ubuntu2204.py310:model-garden.pytorch-inference-0-4-gpu-release_20250725.00_p0 Hinweis: Die erkannte Sicherheitslücke CVE-2024-12797 wird im Container als Falschmeldung betrachtet. |
HiDream-I1 |
| SGLang | Text-zu-Text-Generierung | us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/sglang-serve.cu124.0-4.ubuntu2204.py310:model-garden.sglang-0-4-release_20250718.00_p0 Hinweis: Die erkannte Sicherheitslücke CVE-2024-12797 wird im Container als falsch positiv eingestuft. |
Qwen3 (Bereitstellung) |
| HuggingFace Inference Toolkit | Text-zu-Bild-Generierung Generierung von Standardtext Textklassifizierung Übersetzung Zero-Shot-Objekterkennung Maskengenerierung Satz-Embeddings Funktionsmerkmalsextraktion Maske ausfüllen Vollständige Aufgabenliste: https://huggingface.co/docs/inference-endpoints/en/supported_tasks |
us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/hf-inference-toolkit.cu125.0-1.ubuntu2204.py311:model-garden.hf-inference-toolkit-0-1-release_20250726.00_p0 | Hugging Face PyTorch Inference Deployment |
| HuggingFace Text Embeddings Inference (TEI) | text2embeddings | us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/hf-tei.cu125.0-1.ubuntu2204.py310:model-garden.hf-tei-0-1-release_20250727.00_p0 Hinweis: Die erkannte Sicherheitslücke CVE-2024-12797 wird im Container als Falschmeldung betrachtet. |
Bereitstellung von Hugging Face Text Embeddings Inference |
Abstimmung
Weitere Informationen zum Anpassen von Modellen, um Antworten für bestimmte Anwendungsfälle zu optimieren.
- Notebook mit Tutorial für die Abstimmung mit Workbench
- Notebook mit Tutorial zur Abstimmung und Bewertung
- Gemma 3 in Model Garden bereitstellen und abstimmen – YouTube-Video
Bewertung
Weitere Informationen zum Bewerten von Modellantworten mit Vertex AI
Zusätzliche Ressourcen
- Modell- und nutzerspezifische Model Garden-Notebooks
- Vertex AI-Notebooks zum Bereitstellen, Abstimmen und Bewerten offener Modelle