Model Garden ist eine KI/ML-Modellbibliothek, mit der Sie Modelle und Assets von Google und Google-Partnern entdecken, testen, anpassen und bereitstellen können.
Vorteile von Model Garden
Wenn Sie mit KI-Modellen arbeiten, bietet Model Garden folgende Vorteile:
- Verfügbare Modelle werden an einem Ort gruppiert.
- Model Garden bietet ein einheitliches Bereitstellungsmuster für verschiedene Modelltypen.
- Model Garden bietet eine integrierte Einbindung in andere Teile von Vertex AI, z. B. für die Modellabstimmung, -bewertung und -bereitstellung.
- Die Bereitstellung von generativen KI-Modellen kann schwierig sein. Vertex AI übernimmt die Bereitstellung und Bereitstellung der Modelle für Sie.
Modelle entdecken
Die Liste der verfügbaren Vertex AI- und Open Source-Modelle, die stimmbaren und aufgabenspezifischen Modelle finden Sie in der Google Cloud Console auf der Seite "Model Garden".
Folgende Modellkategorien sind in Model Garden verfügbar:
| Kategorie | Beschreibung |
|---|---|
| Basismodelle | Vortrainierte große Modelle mit mehreren Aufgaben, die mithilfe von Vertex AI Studio, Vertex AI API und Vertex AI SDK für Python für bestimmte Aufgaben optimiert oder angepasst werden können. |
| Abstimmbare Modelle | Modelle, die Sie mit einem benutzerdefinierten Notebook oder einer Pipeline optimieren können |
| Aufgabenspezifische Lösungen | Die meisten dieser vordefinierten Modelle sind einsatzbereit. Viele können mit Ihren eigenen Daten angepasst werden. |
Geben Sie Folgendes an, um Modelle im Filterbereich zu filtern:
- Modalitäten: Klicken Sie auf die Modalitäten (Datentypen), die Sie im Modell verwenden möchten.
- Aufgaben: Klicken Sie auf die Aufgabe, die das Modell ausführen soll.
- Features: Klicken Sie auf die gewünschten Features im Modell.
- Anbieter: Klicken Sie auf den Anbieter des Modells.
Weitere Informationen zu den einzelnen Modellen erhalten Sie, wenn Sie auf die Modellkarte klicken.
Eine Liste der in Model Garden verfügbaren Modelle finden Sie unter In Model Garden verfügbare Modelle.
Sicherheitsscans für Modelle
Google führt gründliche Tests und Benchmarks für die von uns bereitgestellten Bereitstellungs- und Optimierungscontainer durch. Das aktive Scannen auf Sicherheitslücken wird auch auf Containerartefakte angewendet.
Drittanbietermodelle von vorgestellten Partnern werden anhand von Modell-Prüfpunkten überprüft, um ihre Authentizität zu bestätigen. Drittanbietermodelle aus dem HuggingFace Hub werden direkt von HuggingFace und dem Drittanbieter-Scanner auf Malware, Pickle-Dateien, Keras-Lambda-Ebenen und Secrets geprüft. Modelle, die bei diesen Prüfungen als unsicher eingestuft werden, werden von Hugging Face gemeldet und die Bereitstellung in Model Garden wird blockiert. Modelle, die als verdächtig eingestuft werden oder die potenziell Remote-Code ausführen können, werden in Model Garden gekennzeichnet, können aber trotzdem bereitgestellt werden. Wir empfehlen Ihnen, verdächtige Modelle gründlich zu prüfen, bevor Sie sie in Model Garden bereitstellen.
Preise
Für die Open-Source-Modelle in Model Garden wird Ihnen die Nutzung von Vertex AI in Rechnung gestellt:
- Modelloptimierung: Ihnen werden die verwendeten Compute-Ressourcen zum gleichen Preis wie das benutzerdefinierte Training in Rechnung gestellt. Siehe Benutzerdefinierte Trainingspreise.
- Modellbereitstellung: Ihnen werden die Rechenressourcen in Rechnung gestellt, die zur Bereitstellung des Modells auf einem Endpunkt verwendet wurden. Siehe Preise für Vorhersagen.
- Colab Enterprise: Siehe Colab Enterprise-Preise.
Zugriff auf bestimmte Modelle steuern
Sie können eine Model Garden-Organisationsrichtlinie auf Organisations-, Ordner- oder Projektebene festlegen, um den Zugriff auf bestimmte Modelle in Model Garden zu steuern. Sie können beispielsweise den Zugriff auf bestimmte Modelle zulassen, die Sie geprüft haben, und den Zugriff auf alle anderen ablehnen.
Weitere Informationen zu Model Garden
Weitere Informationen zu den Bereitstellungsoptionen und Anpassungen, die Sie mit Modellen in Model Garden vornehmen können, finden Sie in den folgenden Abschnitten. Dort finden Sie auch Links zu Anleitungen, Referenzen, Notebooks und YouTube-Videos.
Bereitstellen und bereitstellen
Weitere Informationen zum Anpassen von Bereitstellungen und zu erweiterten Funktionen für die Anzeigenbereitstellung
- Gemma bereitstellen und Vorhersagen treffen
- Offene Modelle mit einem Hex-LLM-Container auf Cloud TPUs bereitstellen
- Anleitungs-Notebook zum Verwenden von Präfix-Caching und spekulativer Dekodierung mit Hex-LLM oder vLLM
- Mit vLLM textbasierte und mehrsprachige Sprachmodelle auf Cloud-GPUs bereitstellen
- xDiT-GPU-Bereitstellungscontainer für die Bild- und Videogenerierung verwenden
- Serving Gemma 2 mit mehreren LoRA-Adaptern mit HuggingFace-DLC für PyTorch-Inferenz-Anleitung auf Medium
- Benutzerdefinierte Aliasse verwenden, um PaliGemma für Bildunterschriften mit HuggingFace DLC für PyTorch-Inferenzanleitung auf LinkedIn bereitzustellen
- Ein Modell mit Spot-VMs oder ein Notebook mit einer Compute Engine-Reservierungsanleitung bereitstellen und ausführen
Abstimmung
Weitere Informationen zum Optimieren von Modellen, um Antworten auf bestimmte Anwendungsfälle anzupassen.
Bewertung
Weitere Informationen zum Bewerten von Modellantworten mit Vertex AI