Modelli di partner Vertex AI per MaaS

Vertex AI supporta un elenco selezionato di modelli sviluppati dai partner di Google. I modelli partner possono essere utilizzati con Vertex AI come model as a service (MaaS) e sono offerti come API gestita. Quando utilizzi un modello partner, continui a inviare le richieste agli endpoint Vertex AI. I modelli partner sono serverless, quindi non è necessario eseguire il provisioning o gestire l'infrastruttura.

I modelli dei partner possono essere scoperti utilizzando Model Garden. Puoi anche eseguire il deployment dei modelli utilizzando Model Garden. Per ulteriori informazioni, consulta Esplora i modelli di AI in Model Garden. Sebbene le informazioni su ciascun modello partner disponibile siano reperibili nella relativa scheda del modello in Model Garden, in questa guida sono documentati solo i modelli di terze parti che funzionano come MaaS con Vertex AI.

I modelli Claude e Mistral di Anthropic sono esempi di modelli gestiti di terze parti disponibili per l'utilizzo su Vertex AI.

Prezzi dei modelli partner di Vertex AI con garanzia di capacità

Google offre il throughput sottoposto a provisioning per alcuni modelli partner che riserva la capacità di throughput per i tuoi modelli a una tariffa fissa. Decidi la capacità di throughput e in quali regioni riservarla. Poiché le richieste di throughput di cui è stato eseguito il provisioning hanno la priorità rispetto alle richieste standard con pagamento a consumo, il throughput di cui è stato eseguito il provisioning offre una maggiore disponibilità. Quando il sistema è sovraccarico, le tue richieste possono comunque essere completate purché il throughput rimanga al di sotto della capacità di throughput riservata. Per ulteriori informazioni o per abbonarti al servizio, contatta il team di vendita.

Endpoint regionali e globali

Per gli endpoint regionali, le richieste vengono gestite dalla regione specificata. Nei casi in cui hai requisiti di residenza dei dati o se un modello non supporta l'endpoint globale, utilizza gli endpoint regionali.

Quando utilizzi l'endpoint globale, Google può elaborare e gestire le tue richieste da qualsiasi regione supportata dal modello che stai utilizzando, il che potrebbe comportare una latenza maggiore in alcuni casi. L'endpoint globale contribuisce a migliorare la disponibilità complessiva e a ridurre gli errori.

Non c'è differenza di prezzo con gli endpoint regionali quando utilizzi l'endpoint globale. Tuttavia, le quote degli endpoint globali e le funzionalità dei modelli supportati possono differire da quelle degli endpoint regionali. Per ulteriori informazioni, visualizza la pagina del modello di terze parti correlato.

Specifica l'endpoint globale

Per utilizzare l'endpoint globale, imposta la regione su global.

Ad esempio, l'URL della richiesta per un comando curl utilizza il seguente formato: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Per l'SDK Vertex AI, l'endpoint regionale è quello predefinito. Imposta la regione su GLOBAL per utilizzare l'endpoint globale.

Modelli supportati

L'endpoint globale è disponibile per i seguenti modelli:

Limita l'utilizzo degli endpoint API globali

Per contribuire a imporre l'utilizzo di endpoint regionali, utilizza il vincolo del criterio dell'organizzazione constraints/gcp.restrictEndpointUsage per bloccare le richieste all'endpoint API globale. Per ulteriori informazioni, vedi Limitare l'utilizzo degli endpoint.

Concedere l'accesso dell'utente ai modelli partner

Per poter attivare i modelli partner ed effettuare una richiesta di prompt, un amministratore Google Cloud deve impostare le autorizzazioni richieste e verificare che le norme dell'organizzazione consentano l'utilizzo delle API richieste.

Impostare le autorizzazioni richieste per utilizzare i modelli partner

Per utilizzare i modelli partner sono necessari i seguenti ruoli e autorizzazioni:

  • Devi disporre del ruolo IAM (Identity and Access Management) Gestore entitlement approvvigionamento consumer. Chiunque abbia ricevuto questo ruolo può attivare i modelli partner in Model Garden.

  • Devi avere l'autorizzazione aiplatform.endpoints.predict. Questa autorizzazione è inclusa nel ruolo IAM Vertex AI User. Per maggiori informazioni, consulta Utente Vertex AI e Controllo dell'accesso.

Console

  1. Per concedere i ruoli IAM Gestore entitlement approvvigionamento consumer a un utente, vai alla pagina IAM.

    Vai a IAM

  2. Nella colonna Entità, individua l'entità utente per cui vuoi attivare l'accesso ai modelli partner, quindi fai clic su Modifica entità in quella riga.

  3. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  4. In Seleziona un ruolo, seleziona Consumer Procurement Entitlement Manager.

  5. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  6. In Seleziona un ruolo, seleziona Vertex AI User.

  7. Fai clic su Salva.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Concedi il ruolo Gestore entitlement approvvigionamento consumer richiesto per attivare i modelli dei partner in Model Garden

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Concedi il ruolo Utente Vertex AI che include l'autorizzazione aiplatform.endpoints.predict necessaria per effettuare richieste di prompt:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Sostituisci PRINCIPAL con l'identificatore del principal. L'identificatore assume la forma user|group|serviceAccount:email o domain:domain, ad esempio user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com o domain:example.domain.com.

    L'output è un elenco di associazioni di criteri che include quanto segue:

    -   members:
  -   user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Per ulteriori informazioni, consulta Concedere un singolo ruolo e gcloud projects add-iam-policy-binding.

Impostare il criterio dell'organizzazione per l'accesso al modello partner

Per abilitare i modelli partner, la policy dell'organizzazione deve consentire la seguente API: Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com

Se la tua organizzazione imposta un criterio dell'organizzazione per limitare l'utilizzo del servizio, un amministratore dell'organizzazione deve verificare che cloudcommerceconsumerprocurement.googleapis.com sia consentito impostando il criterio dell'organizzazione.

Inoltre, se hai un criterio dell'organizzazione che limita l'utilizzo dei modelli in Model Garden, il criterio deve consentire l'accesso ai modelli partner. Per ulteriori informazioni, consulta Controllare l'accesso al modello di controllo.

Conformità normativa del modello di partner

Le certificazioni per l'AI generativa su Vertex AI continuano a essere applicate quando i modelli partner vengono utilizzati come API gestita utilizzando Vertex AI. Se hai bisogno di dettagli sui modelli stessi, puoi trovare ulteriori informazioni nella rispettiva scheda del modello oppure puoi contattare il relativo editore.

I tuoi dati vengono archiviati at-rest all'interno della regione o della multiregione selezionata per i modelli partner su Vertex AI, ma la regionalizzazione del trattamento dei dati può variare. Per un elenco dettagliato degli impegni di trattamento dei dati dei modelli partner, consulta Residenza dei dati per i modelli partner.

I prompt dei clienti e le risposte del modello non vengono condivisi con terze parti quando utilizzi l'API Vertex AI, inclusi i modelli partner. Google tratta i dati dei clienti solo in base alle istruzioni del cliente, come descritto in dettaglio nel nostro Addendum per il trattamento dei dati Cloud.