Vertex AI-Partnermodelle für MaaS

Vertex AI unterstützt eine ausgewählte Liste von Modellen, die von Google-Partnern entwickelt wurden. Partnermodelle können mit Vertex AI als Model as a Service (MaaS) verwendet werden und werden als verwaltete API angeboten. Wenn Sie ein Partnermodell verwenden, senden Sie Ihre Anfragen weiterhin an Vertex AI-Endpunkte. Partnermodelle sind serverlos, sodass Sie keine Infrastruktur bereitstellen oder verwalten müssen.

Partnermodelle können mithilfe von Model Garden gefunden werden. Sie können Modelle auch mit Model Garden bereitstellen. Weitere Informationen finden Sie unter KI-Modelle in Model Garden entdecken. Informationen zu jedem verfügbaren Partnermodell finden Sie auf der Modellkarte in Model Garden. In dieser Anleitung sind nur Drittanbietermodelle, die als MaaS mit Vertex AI funktionieren, dokumentiert.

Die Modelle Claude von Anthropic und Mistral sind Beispiele für von Drittanbietern verwaltete Modelle, die mit Vertex AI verwendet werden können.

Preise für Vertex AI-Partnermodelle mit Kapazitätsgarantie

Google bietet einen bereitgestellten Durchsatz für Partnermodelle, der den Durchsatz für Ihre Modelle zu einer festen Gebühr reserviert. Sie entscheiden über die Durchsatzkapazität und in welchen Regionen diese Kapazität reserviert werden soll. Weil Anfragen zum bereitgestellten Durchsatz Vorrang vor den standardmäßigen "Pay as you go"-Anfragen haben, bietet bereitgestellter Durchsatz eine höhere Verfügbarkeit. Wenn das System überlastet ist, können Anfragen weiterhin abgeschlossen werden, solange der Durchsatz unter der der reservierten Durchsatzkapazität bleibt. Wenn Sie weitere Informationen wünschen oder den Dienst abonnieren möchten: Vertrieb kontaktieren.

Regionale und globale Endpunkte

Bei regionalen Endpunkten werden Anfragen von der von Ihnen angegebenen Region aus bearbeitet. Wenn Sie Anforderungen an den Datenstandort haben oder ein Modell den globalen Endpunkt nicht unterstützt, verwenden Sie die regionalen Endpunkte.

Wenn Sie den globalen Endpunkt verwenden, kann Google Ihre Anfragen in jeder Region verarbeiten und bereitstellen, die vom verwendeten Modell unterstützt wird. Dies kann in einigen Fällen zu einer höheren Latenz führen. Der globale Endpunkt trägt dazu bei, die allgemeine Verfügbarkeit zu verbessern und Fehler zu reduzieren.

Bei Verwendung des globalen Endpunkts gibt es keinen Preisunterschied zu den regionalen Endpunkten. Die Kontingente für den globalen Endpunkt und die unterstützten Modellfunktionen können sich jedoch von denen der regionalen Endpunkte unterscheiden. Weitere Informationen finden Sie auf der entsprechenden Seite des Drittanbietermodells.

Globalen Endpunkt angeben

Wenn Sie den globalen Endpunkt verwenden möchten, legen Sie die Region auf global fest.

Die Anfrage-URL für einen curl-Befehl hat beispielsweise das folgende Format: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Für das Vertex AI SDK ist ein regionaler Endpunkt die Standardeinstellung. Legen Sie die Region auf GLOBAL fest, um den globalen Endpunkt zu verwenden.

Unterstützte Modelle

Der globale Endpunkt ist für die folgenden Modelle verfügbar:

Nutzung globaler API-Endpunkt einschränken

Um die Verwendung regionaler Endpunkte zu erzwingen, können Sie die Organisationsrichtlinieneinschränkung constraints/gcp.restrictEndpointUsage verwenden, um Anfragen an den globalen API-Endpunkt zu blockieren. Weitere Informationen finden Sie unter Endpunktnutzung einschränken.

Nutzern Zugriff auf Partnermodelle gewähren

Damit Sie Partnermodelle aktivieren und eine Prompts senden können, muss ein Google CloudAdministrator die erforderlichen Berechtigungen festlegen und bestätigen, dass die Organisationsrichtlinie die Verwendung der erforderlichen APIs zulässt.

Erforderliche Berechtigungen für die Verwendung von Partnermodellen festlegen

Die folgenden Rollen und Berechtigungen sind für die Verwendung von Partnermodellen erforderlich:

  • Sie benötigen die IAM-Rolle „Manager von Nutzer-Beschaffungsberechtigungen“ (Identity and Access Management). Nutzer, denen diese Rolle zugewiesen wurde, können Partnermodelle in Model Garden aktivieren.

  • Sie benötigen die Berechtigung aiplatform.endpoints.predict. Diese Berechtigung ist in der IAM-Rolle „Vertex AI-Nutzer“ enthalten. Weitere Informationen finden Sie unter Vertex AI-Nutzer und Zugriffssteuerung.

Console

  1. Um einem Nutzer die IAM-Rollen für Manager von Nutzer-Beschaffungsberechtigungen zuzuweisen, rufen Sie die Seite IAM auf.

    IAM aufrufen

  2. Suchen Sie in der Spalte Hauptkonto das Nutzer-Hauptkonto, für das Sie den Zugriff auf Partner-Modelle aktivieren möchten, und klicken Sie dann in dieser Zeile auf Hauptkonto bearbeiten.

  3. Klicken Sie im Bereich Berechtigungen bearbeiten auf Weitere Rolle hinzufügen.

  4. Wählen Sie unter Rolle auswählen die Option Consumer Procurement Entitlement Manager aus.

  5. Klicken Sie im Bereich Berechtigungen bearbeiten auf Weitere Rolle hinzufügen.

  6. Wählen Sie unter Rolle auswählen die Option Vertex AI-Nutzer aus.

  7. Klicken Sie auf Speichern.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Rolle „Manager von Nutzer-Beschaffungsberechtigungen“ zuweisen, die zum Aktivieren von Partnermodellen in Model Garden erforderlich ist

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Erteilen Sie die Rolle „Vertex AI-Nutzer“, die die aiplatform.endpoints.predict-Berechtigung enthält, die zum Senden von Prompts erforderlich ist:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Ersetzen Sie PRINCIPAL durch die Kennung des Hauptkontos. Die Kennung hat das Format user|group|serviceAccount:email oder domain:domain, z. B. user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com oder domain:example.domain.com.

    Die Ausgabe ist eine Liste von Richtlinienbindungen, die Folgendes enthält:

    -   members:
  -   user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Weitere Informationen finden Sie unter Einzelne Rolle zuweisen und gcloud projects add-iam-policy-binding.

Organisationsrichtlinie für den Zugriff auf Partnermodelle festlegen

Damit Partnermodelle aktiviert werden können, muss in Ihrer Organisationsrichtlinie die folgende API zugelassen sein: Cloud Commerce Consumer Procurement API – cloudcommerceconsumerprocurement.googleapis.com

Wenn Ihre Organisation eine Organisationsrichtlinie zum Einschränken der Dienstnutzung festlegt, muss ein Organisationsadministrator bestätigen, dass cloudcommerceconsumerprocurement.googleapis.com durch Festlegen der Organisationsrichtlinie zulässig ist.

Wenn Sie eine Organisationsrichtlinie haben, die die Modellnutzung in Model Garden einschränkt, muss die Richtlinie den Zugriff auf Partnermodelle zulassen. Weitere Informationen finden Sie unter Zugriff auf Kontrollmodell verwalten.

Einhaltung von Gesetzen und Verordnungen für Partnermodelle

Die Zertifizierungen für Generative AI in Vertex AI gelten weiterhin, wenn Partnermodelle als verwaltete API mit Vertex AI verwendet werden. Wenn Sie Details zu den Modellen selbst benötigen, finden Sie weitere Informationen in der jeweiligen Modellkarte. Sie können sich auch an den jeweiligen Modellpublisher wenden.

Ihre inaktiven Daten werden in der ausgewählten Region oder in mehreren Regionen für Partnermodelle in Vertex AI gespeichert. Die Regionalisierung der Datenverarbeitung kann jedoch variieren. Eine detaillierte Liste der Verpflichtungen zur Datenverarbeitung von Partnermodellen finden Sie unter Datenstandort für Partnermodelle.

Kundenprompts und Modellantworten werden bei Verwendung der Vertex AI API, einschließlich Partnermodellen, nicht an Dritte weitergegeben. Google verarbeitet Kundendaten nur gemäß den Anweisungen des Kunden, wie in unserem Zusatz zur Verarbeitung von Cloud-Daten beschrieben.