Modelli di partner Vertex AI per MaaS

Vertex AI supporta un elenco selezionato di modelli sviluppati dai partner di Google. I modelli partner possono essere utilizzati con Vertex AI come model as a service (MaaS) e sono offerti come API gestita. Quando utilizzi un modello partner, continui a inviare le richieste agli endpoint Vertex AI. I modelli partner sono serverless, quindi non è necessario eseguire il provisioning o gestire l'infrastruttura.

I modelli dei partner possono essere scoperti utilizzando Model Garden. Puoi anche eseguire il deployment dei modelli utilizzando Model Garden. Per ulteriori informazioni, consulta Esplora i modelli di AI in Model Garden. Sebbene le informazioni su ciascun modello partner disponibile siano reperibili nella relativa scheda del modello in Model Garden, in questa guida sono documentati solo i modelli di terze parti che funzionano come MaaS con Vertex AI.

I modelli Claude e Mistral di Anthropic sono esempi di modelli gestiti di terze parti che sono disponibili per l'utilizzo su Vertex AI.

Modelli di partner

I seguenti modelli partner sono offerti come API gestite su Vertex AI Model Garden (MaaS):

Nome modello Modalità Descrizione Guida rapida
Claude Opus 4.1 Lingua, Visione Un leader del settore per la programmazione. Offre prestazioni costanti per attività di lunga durata che richiedono impegno e migliaia di passaggi, ampliando in modo significativo ciò che gli agenti AI possono risolvere. Ideale per alimentare prodotti e funzionalità di agenti all'avanguardia. Scheda del modello
Claude Opus 4 Lingua, Visione Claude Opus 4 offre prestazioni costanti per attività di lunga durata che richiedono impegno mirato e migliaia di passaggi, ampliando notevolmente ciò che gli agenti AI possono risolvere. Scheda del modello
Claude Sonnet 4 Lingua, Visione Il modello di medie dimensioni di Anthropic con intelligenza superiore per utilizzi ad alto volume, come programmazione, ricerca approfondita e agenti. Scheda del modello
Claude 3.7 Sonnet di Anthropic Lingua, Visione Modello leader del settore per la programmazione e l'alimentazione di agenti AI e il primo modello Claude a offrire il ragionamento esteso. Scheda del modello
Claude 3.5 Sonnet v2 di Anthropic Lingua, Visione Claude 3.5 Sonnet aggiornato è un modello all'avanguardia per attività di ingegneria del software nel mondo reale e capacità agentiche. Claude 3.5 Sonnet offre questi miglioramenti allo stesso prezzo e alla stessa velocità del suo predecessore. Scheda del modello
Claude 3.5 Haiku di Anthropic Lingua, Visione Claude 3.5 Haiku, la nuova generazione del modello più veloce ed economico di Anthropic, è ottimale per i casi d'uso in cui velocità e convenienza sono importanti. Scheda del modello
Claude 3 Haiku di Anthropic Lingua Il modello di visione e testo più rapido di Anthropic per risposte quasi immediate a query di base, pensato per esperienze di AI senza interruzioni che imitano le interazioni umane. Scheda del modello
Claude 3.5 Sonnet di Anthropic Lingua Claude 3.5 Sonnet offre prestazioni migliori rispetto a Claude 3 Opus di Anthropic su un'ampia gamma di valutazioni di Anthropic con la velocità e il costo del modello di livello intermedio di Anthropic, Claude 3 Sonnet. Scheda del modello
Jamba 1.5 Large (anteprima) Lingua Jamba 1.5 Large di AI21 Labs è progettato per risposte di qualità superiore, throughput elevato e prezzi competitivi rispetto ad altri modelli della stessa classe di dimensioni. Scheda del modello
Jamba 1.5 Mini (anteprima) Lingua Jamba 1.5 Mini di AI21 Labs è ben bilanciato in termini di qualità, velocità effettiva e costi ridotti. Scheda del modello
OCR Mistral (25/05) Lingua, Visione Mistral OCR (25.05) è un'API di riconoscimento ottico dei caratteri per la comprensione dei documenti. Il modello comprende ogni elemento dei documenti, come contenuti multimediali, testo, tabelle ed equazioni. Scheda del modello
Mistral Small 3.1 (25/03) Lingua Mistral Small 3.1 (25/03) è l'ultima versione del modello Small di Mistral, con funzionalità multimodali e lunghezza del contesto estesa. Scheda del modello
Mistral Large (24.11) Lingua Mistral Large (24.11) è la prossima versione del modello Mistral Large (24.07), ora con funzionalità di ragionamento e chiamate di funzione migliorate. Scheda del modello
Codestral (25.01) Codice Un modello all'avanguardia progettato per la generazione di codice, incluso il completamento del codice e il riempimento del testo a metà. Scheda del modello

Prezzi dei modelli partner di Vertex AI con garanzia di capacità

Google offre il throughput sottoposto a provisioning per alcuni modelli partner che riserva la capacità di throughput per i tuoi modelli a una tariffa fissa. Decidi la capacità di throughput e in quali regioni riservarla. Poiché le richieste di throughput di cui è stato eseguito il provisioning hanno la priorità rispetto alle richieste standard con pagamento a consumo, il throughput di cui è stato eseguito il provisioning offre una maggiore disponibilità. Quando il sistema è sovraccarico, le tue richieste possono comunque essere completate purché il throughput rimanga al di sotto della capacità di throughput riservata. Per ulteriori informazioni o per abbonarti al servizio, contatta il team di vendita.

Endpoint regionali e globali

Per gli endpoint regionali, le richieste vengono gestite dalla regione specificata. Nei casi in cui hai requisiti di residenza dei dati o se un modello non supporta l'endpoint globale, utilizza gli endpoint regionali.

Quando utilizzi l'endpoint globale, Google può elaborare e gestire le tue richieste da qualsiasi regione supportata dal modello che stai utilizzando, il che potrebbe comportare una latenza maggiore in alcuni casi. L'endpoint globale contribuisce a migliorare la disponibilità complessiva e a ridurre gli errori.

Non c'è differenza di prezzo con gli endpoint regionali quando utilizzi l'endpoint globale. Tuttavia, le quote degli endpoint globali e le funzionalità dei modelli supportati possono differire da quelle degli endpoint regionali. Per saperne di più, consulta la pagina del modello di terze parti correlato.

Specifica l'endpoint globale

Per utilizzare l'endpoint globale, imposta la regione su global.

Ad esempio, l'URL della richiesta per un comando curl utilizza il seguente formato: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Per l'SDK Vertex AI, un endpoint regionale è il valore predefinito. Imposta la regione su GLOBAL per utilizzare l'endpoint globale.

Modelli supportati

L'endpoint globale è disponibile per i seguenti modelli:

Limita l'utilizzo degli endpoint API globali

Per contribuire a imporre l'utilizzo di endpoint regionali, utilizza il vincolo delle policy dell'organizzazione constraints/gcp.restrictEndpointUsage per bloccare le richieste all'endpoint API globale. Per saperne di più, consulta la pagina Limitare l'utilizzo degli endpoint.

Concedere l'accesso degli utenti ai modelli partner

Per abilitare i modelli partner ed effettuare una richiesta di prompt, un Google Cloud amministratore deve impostare le autorizzazioni richieste e verificare che la policy dell'organizzazione consenta l'utilizzo delle API richieste.

Impostare le autorizzazioni richieste per utilizzare i modelli partner

Per utilizzare i modelli partner sono necessari i seguenti ruoli e autorizzazioni:

  • Devi disporre del ruolo IAM (Identity and Access Management) Gestore entitlement approvvigionamento consumer. Chiunque abbia ricevuto questo ruolo può attivare i modelli partner in Model Garden.

  • Devi avere l'autorizzazione aiplatform.endpoints.predict. Questa autorizzazione è inclusa nel ruolo IAM Vertex AI User. Per ulteriori informazioni, consulta Utente Vertex AI e Controllo dell'accesso.

Console

  1. Per concedere i ruoli IAM di Gestore entitlement approvvigionamento consumer a un utente, vai alla pagina IAM.

    Vai a IAM

  2. Nella colonna Entità, trova l'entità utente per cui vuoi attivare l'accesso ai modelli partner, quindi fai clic su Modifica entità in quella riga.

  3. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  4. In Seleziona un ruolo, seleziona Consumer Procurement Entitlement Manager.

  5. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  6. In Seleziona un ruolo, seleziona Vertex AI User.

  7. Fai clic su Salva.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Concedi il ruolo Gestore entitlement approvvigionamento consumer richiesto per attivare i modelli dei partner in Model Garden

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Concedi il ruolo Vertex AI User che include l'autorizzazione aiplatform.endpoints.predict necessaria per effettuare richieste di prompt:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Sostituisci PRINCIPAL con l'identificatore del principal. L'identificatore assume la forma user|group|serviceAccount:email o domain:domain, ad esempio user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com o domain:example.domain.com.

    L'output è un elenco di associazioni di criteri che include quanto segue:

    -   members:
  -   user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Per saperne di più, consulta Concedere un singolo ruolo e gcloud projects add-iam-policy-binding.

Impostare il criterio dell'organizzazione per l'accesso al modello partner

Per abilitare i modelli partner, il criterio dell'organizzazione deve consentire la seguente API: Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com

Se la tua organizzazione imposta un criterio dell'organizzazione per limitare l'utilizzo del servizio, un amministratore dell'organizzazione deve verificare che cloudcommerceconsumerprocurement.googleapis.com sia consentito impostando il criterio dell'organizzazione.

Inoltre, se hai un criterio dell'organizzazione che limita l'utilizzo dei modelli in Model Garden, il criterio deve consentire l'accesso ai modelli partner. Per ulteriori informazioni, vedi Controllare l'accesso al modello.

Conformità normativa del modello di partner

Le certificazioni per l'AI generativa su Vertex AI continuano a essere applicate quando i modelli partner vengono utilizzati come API gestita utilizzando Vertex AI. Se hai bisogno di dettagli sui modelli stessi, puoi trovare ulteriori informazioni nella rispettiva scheda del modello oppure puoi contattare il relativo editore.

I tuoi dati vengono archiviati at-rest all'interno della regione o della regione multipla selezionata per i modelli partner su Vertex AI, ma la regionalizzazione del trattamento dei dati può variare. Per un elenco dettagliato degli impegni di trattamento dei dati dei modelli partner, consulta Residenza dei dati per i modelli partner.

I prompt dei clienti e le risposte del modello non vengono condivisi con terze parti quando si utilizza l'API Vertex AI, inclusi i modelli partner. Google tratta i dati dei clienti solo in base alle istruzioni del cliente, come descritto in dettaglio nell'Addendum per il trattamento dei dati Cloud.