Model Garden – Übersicht

Model Garden ist eine KI/ML-Modellbibliothek, mit der Sie Modelle und Assets von Google und Google-Partnern entdecken, testen, anpassen und bereitstellen können.

Vorteile von Model Garden

Bei der Arbeit mit KI-Modellen bietet Model Garden folgende Vorteile:

  • Alle verfügbaren Modelle sind an einem einzigen Ort gruppiert.
  • Model Garden bietet ein einheitliches Bereitstellungsmuster für verschiedene Arten von Modellen.
  • Model Garden bietet eine integrierte Einbindung in andere Teile von Vertex AI wie die Modellabstimmung, -bewertung und -bereitstellung.
  • Die Bereitstellung generativer KI-Modelle kann schwierig sein. Vertex AI übernimmt die Bereitstellung und Bereitstellung der Modelle für Sie.

Modelle in der Google Cloud -Console untersuchen

Eine Liste der verfügbaren Vertex AI- und Open-Source-Foundation Models sowie der abstimmbaren und aufgabenspezifischen Modelle finden Sie in der Google Cloud Console auf der Seite „Model Garden“.

Zu Model Garden

Folgende Modellkategorien sind in Model Garden verfügbar:

Kategorie Beschreibung
Grundlagenmodelle Vortrainierte große Multitasking-Modelle, die mithilfe von Vertex AI Studio, der Vertex AI API und dem Vertex AI SDK for Python für bestimmte Aufgaben optimiert oder angepasst werden können.
Abstimmbare Modelle Modelle, die Sie mit einem benutzerdefinierten Notebook oder einer Pipeline optimieren können.
Aufgabenspezifische Lösungen Die meisten dieser vordefinierten Modelle sind sofort einsatzbereit. Viele können mit Ihren eigenen Daten angepasst werden.

Geben Sie Folgendes an, um Modelle im Filterbereich zu filtern:

  • Aufgaben: Klicken Sie auf die Aufgabe, die das Modell ausführen soll.
  • Modellsammlungen: Klicken Sie, um Modelle auszuwählen, die von Google, Partnern oder Ihnen verwaltet werden.
  • Anbieter: Klicken Sie auf den Anbieter des Modells.
  • Features: Klicken Sie auf die gewünschten Features im Modell.

Weitere Informationen zu den einzelnen Modellen erhalten Sie, wenn Sie auf die Modellkarte klicken.

Eine Liste der in Model Garden verfügbaren Modelle finden Sie unter In Model Garden verfügbare Modelle.

Sicherheitsscans für Modelle

Google führt gründliche Tests und Benchmarks für die von uns bereitgestellten Container zum Bereitstellen und Optimieren durch. Das aktive Scannen auf Sicherheitslücken wird auch auf Containerartefakte angewendet.

Drittanbietermodelle von vorgestellten Partnern werden anhand von Modellprüfpunkten auf Authentizität überprüft. Drittanbietermodelle aus dem HuggingFace Hub werden direkt von HuggingFace und dem Drittanbieter-Scanner auf Malware, Pickle-Dateien, Keras-Lambda-Ebenen und Geheimnisse geprüft. Modelle, die bei diesen Prüfungen als unsicher eingestuft werden, werden von Hugging Face gemeldet und die Bereitstellung in Model Garden wird blockiert. Modelle, die als verdächtig eingestuft werden oder die potenziell Remote-Code ausführen können, werden in Model Garden angezeigt, können aber trotzdem bereitgestellt werden. Wir empfehlen Ihnen, verdächtige Modelle gründlich zu prüfen, bevor Sie sie in Ihrem Model Garden bereitstellen.

Preise

Für die Open-Source-Modelle in Model Garden wird Ihnen die Nutzung von Vertex AI in Rechnung gestellt:

  • Modelloptimierung: Ihnen werden die verwendeten Compute-Ressourcen zum gleichen Preis wie das benutzerdefinierte Training in Rechnung gestellt. Siehe Benutzerdefinierte Trainingspreise.
  • Modellbereitstellung: Ihnen werden die Rechenressourcen in Rechnung gestellt, die zur Bereitstellung des Modells auf einem Endpunkt verwendet wurden. Siehe Preise für Vorhersagen.
  • Colab Enterprise: Siehe Colab Enterprise-Preise.

Zugriff auf bestimmte Modelle steuern

Sie können eine Model Garden-Organisationsrichtlinie auf Organisations-, Ordner- oder Projektebene festlegen, um den Zugriff auf bestimmte Modelle in Model Garden zu steuern. Sie können beispielsweise den Zugriff auf bestimmte Modelle zulassen, die Sie geprüft haben, und den Zugriff auf alle anderen ablehnen.

Zusätzliche Ressourcen

In diesem Abschnitt finden Sie Links zu Anleitungen, Referenzmaterialien, Notebooks und Videos, die Ihnen beim Bereitstellen, Optimieren und Bewerten von Modellen aus Model Garden helfen.

Bereitstellungs- und Bereitstellungsoptionen

Vertex AI bietet mehrere Optionen für die Bereitstellung und Ausführung offener Modelle, die jeweils für unterschiedliche Anwendungsfälle, Hardware und Leistungsanforderungen optimiert sind. Anhand der folgenden Tabelle können Sie entscheiden, welche Option für Sie am besten geeignet ist.

Bereitstellungsoption Beschreibung Optimal für
Vertex AI SDK, CLI und REST API Standardmethoden zum Bereitstellen offener Modelle mit einer einheitlichen Benutzeroberfläche. Bereitstellung für allgemeine Zwecke, Erste Schritte und Einbindung in vorhandene Vertex AI-Workflows.
vLLM-Container Eine Open-Source-Bibliothek für schnelle LLM-Inferenz und ‑Bereitstellung, optimiert für den Durchsatz auf GPUs. Hochleistungsfähige Bereitstellung von Nur-Text- und multimodalen Language Models auf GPUs.
Hex-LLM-Container Ein Container, der für die Bereitstellung großer Modelle auf Cloud TPUs optimiert ist. Sehr große Modelle effizient auf TPU-Hardware bereitstellen
xDiT-Container Ein spezieller Bereitstellungscontainer für Diffusions-Transformer-Modelle (DiT). Aufgaben zur Hochleistungs-Bild- und Videogenerierung
Hugging Face TGI DLC Deep Learning Container mit Hugging Face Text Generation Inference für PyTorch Hugging Face-Systemfunktionen nutzen, z. B. das Bereitstellen mehrerer LoRA-Adapter auf einer einzelnen GPU

Nachdem Sie eine Option ausgewählt haben, finden Sie auf den folgenden Tabs relevante Anleitungen und Ressourcen.

SDK, Befehlszeile und REST API

vLLM auf GPUs

Hex-LLM auf TPUs

xDiT für Bilder/Videos

Hugging Face-DLC

Ressourcen zur Modellabstimmung

Weitere Informationen zum Optimieren von Modellen, um Antworten auf bestimmte Anwendungsfälle anzupassen.

Ressourcen zur Modellbewertung

Weitere Informationen zum Bewerten von Modellantworten mit Vertex AI

Allgemeine Ressourcen und Notizen