Vertex AI-Partnermodelle für MaaS

Vertex AI unterstützt eine ausgewählte Liste von Modellen, die von Google-Partnern entwickelt wurden. Partnermodelle können mit Vertex AI als Model as a Service (MaaS) verwendet werden und werden als verwaltete API angeboten. Wenn Sie ein Partnermodell verwenden, senden Sie Ihre Anfragen weiterhin an Vertex AI-Endpunkte. Partnermodelle sind serverlos, sodass Sie keine Infrastruktur bereitstellen oder verwalten müssen.

Partnermodelle können mithilfe von Model Garden gefunden werden. Sie können Modelle auch mit Model Garden bereitstellen. Weitere Informationen finden Sie unter KI-Modelle in Model Garden entdecken. Informationen zu jedem verfügbaren Partnermodell finden Sie auf der Modellkarte in Model Garden. In dieser Anleitung sind nur Drittanbietermodelle, die als MaaS mit Vertex AI funktionieren, dokumentiert.

Anthropic Claude- und Mistral-Modelle sind Beispiele für von Drittanbietern verwaltete Modelle, die in Vertex AI verwendet werden können.

Preise für Vertex AI-Partnermodelle mit Kapazitätssicherung

Google bietet einen bereitgestellten Durchsatz für Partnermodelle, der den Durchsatz für Ihre Modelle zu einer festen Gebühr reserviert. Sie entscheiden über die Durchsatzkapazität und in welchen Regionen diese Kapazität reserviert werden soll. Weil Anfragen zum bereitgestellten Durchsatz Vorrang vor den standardmäßigen "Pay as you go"-Anfragen haben, bietet bereitgestellter Durchsatz eine höhere Verfügbarkeit. Wenn das System überlastet ist, können Anfragen weiterhin abgeschlossen werden, solange der Durchsatz unter der der reservierten Durchsatzkapazität bleibt. Wenn Sie weitere Informationen wünschen oder den Dienst abonnieren möchten: Vertrieb kontaktieren.

Nutzern Zugriff auf Partnermodelle gewähren

Damit Sie Partnermodelle aktivieren und eine Prompt-Anfrage stellen können, muss ein Google Cloud-Administrator die erforderlichen Berechtigungen festlegen und prüfen, ob die Verwendung der erforderlichen APIs in der Organisationsrichtlinie zulässig ist.

Erforderliche Berechtigungen für die Verwendung von Partnermodellen festlegen

Für die Verwendung von Partnermodellen sind die folgenden Rollen und Berechtigungen erforderlich:

  • Sie benötigen die IAM-Rolle (Identity and Access Management) „Manager von Nutzer-Beschaffungsberechtigungen“. Nutzer, denen diese Rolle zugewiesen wurde, können Partnermodelle in Model Garden aktivieren.

  • Sie benötigen die Berechtigung aiplatform.endpoints.predict. Diese Berechtigung ist in der IAM-Rolle „Vertex AI User“ enthalten. Weitere Informationen finden Sie unter Vertex AI-Nutzer und Zugriffssteuerung.

Console

  1. Um einem Nutzer die IAM-Rollen für Manager von Nutzer-Beschaffungsberechtigungen zuzuweisen, rufen Sie die Seite IAM auf.

    IAM aufrufen

  2. Suchen Sie in der Spalte Hauptkonto das Nutzer-Hauptkonto, für das Sie den Zugriff auf Partner-Modelle aktivieren möchten, und klicken Sie dann in dieser Zeile auf Hauptkonto bearbeiten.

  3. Klicken Sie im Bereich Berechtigungen bearbeiten auf Weitere Rolle hinzufügen.

  4. Wählen Sie unter Rolle auswählen die Option Consumer Procurement Entitlement Manager aus.

  5. Klicken Sie im Bereich Berechtigungen bearbeiten auf Weitere Rolle hinzufügen.

  6. Wählen Sie unter Rolle auswählen die Option Vertex AI-Nutzer aus.

  7. Klicken Sie auf Speichern.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Weisen Sie die Rolle „Manager von Nutzer-Beschaffungsberechtigungen“ zu, die zum Aktivieren von Partnermodellen in Model Garden erforderlich ist.

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Erteilen Sie die Rolle „Vertex AI-Nutzer“, die die aiplatform.endpoints.predict-Berechtigung enthält, die zum Senden von Prompts erforderlich ist:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Ersetzen Sie PRINCIPAL durch die Kennung des Hauptkontos. Die Kennung hat das Format user|group|serviceAccount:email oder domain:domain, z. B. user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com oder domain:example.domain.com.

    Die Ausgabe ist eine Liste von Richtlinienbindungen mit den folgenden Informationen:

    - members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Weitere Informationen finden Sie unter Einzelne Rolle zuweisen und gcloud projects add-iam-policy-binding.

Organisationsrichtlinie für den Zugriff auf das Partnermodell festlegen

Damit Partnermodelle aktiviert werden können, müssen die folgenden APIs in Ihrer Organisationsrichtlinie zugelassen sein:

  • Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
  • Commerce Agreement API - commerceagreement.googleapis.com

Wenn Ihre Organisation eine Organisationsrichtlinie festlegt, um die Nutzung des Dienstes einzuschränken, muss ein Organisationsadministrator cloudcommerceconsumerprocurement.googleapis.com und commerceagreement.googleapis.com zulassen, indem er die Organisationsrichtlinie festlegt.

Wenn Sie eine Organisationsrichtlinie haben, die die Modellnutzung in Model Garden einschränkt, muss die Richtlinie den Zugriff auf Partnermodelle zulassen. Weitere Informationen finden Sie unter Zugriff auf Modelle steuern.