Vertex AI-Partnermodelle für MaaS

Vertex AI unterstützt eine ausgewählte Liste von Modellen, die von Google-Partnern entwickelt wurden. Partnermodelle können mit Vertex AI als Model as a Service (MaaS) verwendet werden und werden als verwaltete API angeboten. Wenn Sie ein Partnermodell verwenden, senden Sie Ihre Anfragen weiterhin an Vertex AI-Endpunkte. Partnermodelle sind serverlos, sodass Sie keine Infrastruktur bereitstellen oder verwalten müssen.

Partnermodelle können mithilfe von Model Garden gefunden werden. Sie können Modelle auch mit Model Garden bereitstellen. Weitere Informationen finden Sie unter KI-Modelle in Model Garden entdecken. Informationen zu jedem verfügbaren Partnermodell finden Sie auf der Modellkarte in Model Garden. In dieser Anleitung sind nur Drittanbietermodelle, die als MaaS mit Vertex AI funktionieren, dokumentiert.

Die Modelle Claude von Anthropic und Mistral sind Beispiele für von Drittanbietern verwaltete Modelle, die mit Vertex AI verwendet werden können.

Partnermodelle

Die folgenden Partnermodelle werden als verwaltete APIs im Vertex AI Model Garden (MaaS) angeboten:

Modellname Modalität Beschreibung Kurzanleitung
Claude Opus 4.1 Sprache, Vision Ein Branchenführer für Programmierung. Sie bietet eine nachhaltige Leistung bei langwierigen Aufgaben, die konzentrierte Anstrengung und Tausende von Schritten erfordern. Dadurch wird das Spektrum der Aufgaben, die KI-Agenten lösen können, erheblich erweitert. Ideal für die Nutzung in innovativen Agentenprodukten und ‑funktionen. Modellkarte
Claude Opus 4 Sprache, Vision Claude Opus 4 bietet eine nachhaltige Leistung bei langwierigen Aufgaben, die konzentrierten Aufwand und Tausende von Schritten erfordern. Dadurch wird das Spektrum der Aufgaben, die KI-Agents lösen können, erheblich erweitert. Modellkarte
Claude Sonnet 4 Sprache, Vision Das mittelgroße Modell von Anthropic mit überlegener Intelligenz für Anwendungen mit hohem Volumen, z. B. Programmierung, ausführliche Recherchen und Agenten. Modellkarte
Claude 3.7 Sonnet von Anthropic Sprache, Vision Branchenführendes Modell für die Programmierung und den Betrieb von KI-Agents – und das erste Claude-Modell, das eine erweiterte Denkweise bietet. Modellkarte
Anthropic Claude 3.5 Sonnet v2 Sprache, Vision Das aktualisierte Claude 3.5 Sonnet ist ein hochmodernes Modell für reale Softwareentwicklungsaufgaben und für von KI-Agenten zu übernehmende Aufgaben. Claude 3.5 Sonnet bietet diese Verbesserungen zum gleichen Preis und mit der gleichen Geschwindigkeit wie sein Vorgänger. Modellkarte
Claude 3.5 Haiku von Anthropic Sprache, Vision Claude 3.5 Haiku, die nächste Generation des schnellsten und kostengünstigsten Modells von Anthropic, eignet sich optimal für Anwendungsfälle, bei denen es auf Geschwindigkeit und Kosteneinsparungen ankommt. Modellkarte
Claude 3 Opus von Anthropic Sprache Ein leistungsstarkes KI-Modell, das bei hochkomplexen Aufgaben Top-Level-Leistung bietet. Sie ist beeindruckend fließend und menschenähnliche Kenntnisse, um mit offenen Prompts und ungesehenen Szenarien zurechtzukommen. Modellkarte
Claude 3 Haiku von Anthropic Sprache Das schnellste Vision- und Textmodell von Anthropic, das nahezu sofortige Antworten auf einfache Anfragen liefert und dabei menschliche Interaktionen nachahmt. Modellkarte
Claude 3.5 Sonnet von Anthropic Sprache Claude 3.5 Sonnet übertrifft Claude 3 Opus von Anthropic in einer Vielzahl von Bewertungen von Anthropic mit der Geschwindigkeit und den Kosten des Mid-Tier-Modells von Anthropic, Claude 3 Sonnet. Modellkarte
Jamba 1.5 Large (Vorschau) Sprache Jamba 1.5 Large von AI21 Labs wurde für hochwertige Antworten, hohen Durchsatz und wettbewerbsfähige Preise im Vergleich zu anderen Modellen seiner Größenklasse entwickelt. Modellkarte
Jamba 1.5 Mini (Vorschau) Sprache Jamba 1.5 Mini von AI21 Labs bietet ein gutes Gleichgewicht zwischen Qualität, Durchsatz und niedrigen Kosten. Modellkarte
Mistral OCR (25.05) Sprache, Vision Mistral OCR (25.05) ist eine API zur optischen Zeichenerkennung (Optical Character Recognition, OCR) für das Dokumentverständnis. Das Modell erfasst jedes Element von Dokumenten, z. B. Medien, Text, Tabellen und Gleichungen. Modellkarte
Mistral Small 3.1 (25.03) Sprache Mistral Small 3.1 (25.03) ist die aktuelle Version des Small-Modells von Mistral mit multimodalen Funktionen und einer erweiterten Kontextlänge. Modellkarte
Mistral Large (24.11) Sprache Mistral Large (24.11) ist die nächste Version des Modells Mistral Large (24.07) mit verbesserten Schlussfolgerungs- und Funktionsaufruffunktionen. Modellkarte
Codestral (25.01) Code Ein hochmodernes Modell, das für die Codegenerierung entwickelt wurde, einschließlich Fill-in-the-Middle und Codevervollständigung. Modellkarte

Preise für Vertex AI-Partnermodelle mit Kapazitätsgarantie

Google bietet einen bereitgestellten Durchsatz für Partnermodelle, der den Durchsatz für Ihre Modelle zu einer festen Gebühr reserviert. Sie entscheiden über die Durchsatzkapazität und in welchen Regionen diese Kapazität reserviert werden soll. Weil Anfragen zum bereitgestellten Durchsatz Vorrang vor den standardmäßigen "Pay as you go"-Anfragen haben, bietet bereitgestellter Durchsatz eine höhere Verfügbarkeit. Wenn das System überlastet ist, können Anfragen weiterhin abgeschlossen werden, solange der Durchsatz unter der der reservierten Durchsatzkapazität bleibt. Wenn Sie weitere Informationen wünschen oder den Dienst abonnieren möchten: Vertrieb kontaktieren.

Regionale und globale Endpunkte

Bei regionalen Endpunkten werden Anfragen von der von Ihnen angegebenen Region aus bearbeitet. Wenn Sie Anforderungen an den Datenstandort haben oder ein Modell den globalen Endpunkt nicht unterstützt, verwenden Sie die regionalen Endpunkte.

Wenn Sie den globalen Endpunkt verwenden, kann Google Ihre Anfragen in jeder Region verarbeiten und bereitstellen, die vom verwendeten Modell unterstützt wird. Dies kann in einigen Fällen zu einer höheren Latenz führen. Der globale Endpunkt trägt dazu bei, die allgemeine Verfügbarkeit zu verbessern und Fehler zu reduzieren.

Bei Verwendung des globalen Endpunkts gibt es keinen Preisunterschied zu den regionalen Endpunkten. Die Kontingente für den globalen Endpunkt und die unterstützten Modellfunktionen können sich jedoch von denen der regionalen Endpunkte unterscheiden. Weitere Informationen finden Sie auf der entsprechenden Seite des Drittanbietermodells.

Globalen Endpunkt angeben

Wenn Sie den globalen Endpunkt verwenden möchten, legen Sie die Region auf global fest.

Die Anfrage-URL für einen curl-Befehl hat beispielsweise das folgende Format: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Für das Vertex AI SDK ist ein regionaler Endpunkt die Standardeinstellung. Legen Sie die Region auf GLOBAL fest, um den globalen Endpunkt zu verwenden.

Unterstützte Modelle

Der globale Endpunkt ist für die folgenden Modelle verfügbar:

Nutzung globaler API-Endpunkte einschränken

Um die Verwendung regionaler Endpunkte zu erzwingen, können Sie die Organisationsrichtlinieneinschränkung constraints/gcp.restrictEndpointUsage verwenden, um Anfragen an den globalen API-Endpunkt zu blockieren. Weitere Informationen finden Sie unter Endpunktnutzung einschränken.

Nutzern Zugriff auf Partnermodelle gewähren

Damit Sie Partnermodelle aktivieren und eine Prompts senden können, muss ein Google CloudAdministrator die erforderlichen Berechtigungen festlegen und bestätigen, dass die Organisationsrichtlinie die Verwendung der erforderlichen APIs zulässt.

Erforderliche Berechtigungen für die Verwendung von Partnermodellen festlegen

Die folgenden Rollen und Berechtigungen sind für die Verwendung von Partnermodellen erforderlich:

  • Sie benötigen die IAM-Rolle „Manager von Nutzer-Beschaffungsberechtigungen“ (Identity and Access Management). Nutzer, denen diese Rolle zugewiesen wurde, können Partnermodelle in Model Garden aktivieren.

  • Sie benötigen die Berechtigung aiplatform.endpoints.predict. Diese Berechtigung ist in der IAM-Rolle „Vertex AI-Nutzer“ enthalten. Weitere Informationen finden Sie unter Vertex AI-Nutzer und Zugriffssteuerung.

Console

  1. Um einem Nutzer die IAM-Rollen für Manager von Nutzer-Beschaffungsberechtigungen zuzuweisen, rufen Sie die Seite IAM auf.

    IAM aufrufen

  2. Suchen Sie in der Spalte Hauptkonto das Nutzer-Hauptkonto, für das Sie den Zugriff auf Partner-Modelle aktivieren möchten, und klicken Sie dann in dieser Zeile auf Hauptkonto bearbeiten.

  3. Klicken Sie im Bereich Berechtigungen bearbeiten auf Weitere Rolle hinzufügen.

  4. Wählen Sie unter Rolle auswählen die Option Consumer Procurement Entitlement Manager aus.

  5. Klicken Sie im Bereich Berechtigungen bearbeiten auf Weitere Rolle hinzufügen.

  6. Wählen Sie unter Rolle auswählen die Option Vertex AI-Nutzer aus.

  7. Klicken Sie auf Speichern.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Rolle „Manager von Nutzer-Beschaffungsberechtigungen“ zuweisen, die zum Aktivieren von Partnermodellen in Model Garden erforderlich ist

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Erteilen Sie die Rolle „Vertex AI-Nutzer“, die die aiplatform.endpoints.predict-Berechtigung enthält, die zum Senden von Prompts erforderlich ist:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Ersetzen Sie PRINCIPAL durch die Kennung des Hauptkontos. Die Kennung hat das Format user|group|serviceAccount:email oder domain:domain, z. B. user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com oder domain:example.domain.com.

    Es wird eine Liste von Richtlinienbindungen ausgegeben, die Folgendes enthält:

    -   members:
  -   user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Weitere Informationen finden Sie unter Einzelne Rolle zuweisen und gcloud projects add-iam-policy-binding.

Organisationsrichtlinie für den Zugriff auf Partnermodelle festlegen

Damit Partnermodelle aktiviert werden können, muss in Ihrer Organisationsrichtlinie die folgende API zugelassen sein: Cloud Commerce Consumer Procurement API – cloudcommerceconsumerprocurement.googleapis.com

Wenn Ihre Organisation eine Organisationsrichtlinie zum Einschränken der Dienstnutzung festlegt, muss ein Organisationsadministrator bestätigen, dass cloudcommerceconsumerprocurement.googleapis.com durch Festlegen der Organisationsrichtlinie zulässig ist.

Wenn Sie eine Organisationsrichtlinie haben, die die Modellnutzung in Model Garden einschränkt, muss die Richtlinie den Zugriff auf Partnermodelle zulassen. Weitere Informationen finden Sie unter Zugriff auf Kontrollmodell verwalten.

Einhaltung von Gesetzen und Verordnungen für Partnermodelle

Die Zertifizierungen für Generative AI in Vertex AI gelten weiterhin, wenn Partnermodelle als verwaltete API mit Vertex AI verwendet werden. Wenn Sie Details zu den Modellen selbst benötigen, finden Sie weitere Informationen in der jeweiligen Modellkarte. Sie können sich auch an den jeweiligen Modellpublisher wenden.

Ihre inaktiven Daten werden in der ausgewählten Region oder in mehreren Regionen für Partnermodelle in Vertex AI gespeichert. Die Regionalisierung der Datenverarbeitung kann jedoch variieren. Eine detaillierte Liste der Verpflichtungen zur Datenverarbeitung von Partnermodellen finden Sie unter Datenstandort für Partnermodelle.

Kunden-Prompts und Modellantworten werden bei Verwendung der Vertex AI API, einschließlich Partnermodellen, nicht an Dritte weitergegeben. Google verarbeitet Kundendaten nur gemäß den Anweisungen des Kunden, wie in unserem Zusatz zur Verarbeitung von Cloud-Daten beschrieben.