Model Garden è una libreria di modelli AI/ML che ti aiuta a scoprire, testare, personalizzare ed eseguire il deployment di modelli e asset di Google e dei suoi partner.
Vantaggi di Model Garden
Quando utilizzi i modelli di IA, Model Garden offre i seguenti vantaggi:
- I modelli disponibili sono raggruppati in un'unica posizione
- Model Garden fornisce un pattern di deployment coerente per diversi tipi di modelli
- Model Garden offre un'integrazione integrata con altre parti di Vertex AI, come ottimizzazione, valutazione e pubblicazione dei modelli
- La pubblicazione di modelli di IA generativa può essere difficile. Vertex AI gestisce per te il deployment e la pubblicazione dei modelli
Esplorare i modelli
Per visualizzare l'elenco dei modelli Vertex AI e open source (di base, ottimizzabili e specifici per le attività), vai alla pagina Model Garden nella console Google Cloud.
Le categorie dei modelli disponibili in Model Garden sono:
| Categoria | Descrizione |
|---|---|
| Modelli di base | Modelli di grandi dimensioni multitasking preaddestrati che possono essere ottimizzati o personalizzati per attività specifiche mediante Vertex AI Studio, l'API Vertex AI e l'SDK Vertex AI per Python. |
| Modelli ottimizzabili | Modelli che possono essere ottimizzati mediante una pipeline o un blocco note personalizzati. |
| Soluzioni specifiche per le attività | La maggior parte di questi modelli predefiniti può essere usata subito. Molti possono essere personalizzati usando i tuoi dati. |
Per filtrare i modelli nel riquadro dei filtri, specifica quanto segue:
- Modalità: fai clic sulle modalità (tipi di dati) che vuoi nel modello.
- Attività: fai clic sull'attività che vuoi che venga eseguita dal modello.
- Elementi: fai clic sugli elementi che vuoi includere nel modello.
- Provider: fai clic sul provider del modello.
Per scoprire di più su ciascun modello, fai clic sulla relativa scheda.
Per un elenco dei modelli disponibili in Model Garden, consulta Modelli disponibili in Model Garden.
Scansione della sicurezza del modello
Google esegue test e benchmarking approfonditi sui contenitori di pubblicazione e ottimizzazione che forniamo. L'analisi delle vulnerabilità attive viene applicata anche agli artefatti dei container.
I modelli di terze parti dei partner in primo piano vengono sottoposti a scansioni di controllo per verificarne l'autenticità. I modelli di terze parti di HuggingFace Hub vengono analizzati direttamente da HuggingFace e dal loro scanner di terze parti per rilevare malware, file pickle, livelli Lambda Keras e secret. I modelli ritenuti non sicuri da queste analisi vengono segnalati da HuggingFace e il loro deployment viene bloccato in Model Garden. I modelli ritenuti sospetti o che hanno la possibilità di eseguire potenzialmente codice remoto sono indicati in Model Garden, ma possono comunque essere implementati. Ti consigliamo di eseguire un esame approfondito di qualsiasi modello sospetto prima di eseguirlo in Model Garden.
Prezzi
Per i modelli open source in Model Garden, ti viene addebitato l'utilizzo di quanto segue su Vertex AI:
- Ottimizzazione del modello: ti vengono addebitate le risorse di calcolo utilizzate alla stessa tariffa dell'addestramento personalizzato. Consulta i prezzi dell'addestramento personalizzato.
- Deployment del modello: ti vengono addebitate le risorse di calcolo utilizzate per eseguire il deployment del modello in un endpoint. Consulta i prezzi delle previsioni.
- Colab Enterprise: consulta la pagina Prezzi di Colab Enterprise.
Controllare l'accesso a modelli specifici
Puoi impostare un criterio dell'organizzazione di Model Garden a livello di organizzazione, cartella o progetto per controllare l'accesso a modelli specifici in Model Garden. Ad esempio, puoi consentire l'accesso a modelli specifici che hai esaminato e negare l'accesso a tutti gli altri.
Scopri di più su Model Garden
Per saperne di più sulle opzioni di implementazione e sulle personalizzazioni che puoi eseguire con i modelli in Model Garden, consulta le risorse nelle sezioni seguenti, che includono link a tutorial, riferimenti, notebook e video di YouTube.
Esegui il deployment e pubblica
Scopri di più sulla personalizzazione dei deployment e sulle funzionalità avanzate di pubblicazione.
- Eseguire il deployment di Gemma ed effettuare previsioni
- Pubblicare modelli aperti con un contenitore Hex-LLM su TPU Cloud
- Utilizzare la memorizzazione nella cache dei prefissi e la decodifica speculativa con il notebook del tutorial Hex-LLM o vLLM
- Utilizza vLLM per pubblicare modelli linguistici solo testo e multimodelli su GPU Cloud
- Utilizzare il container di servizio GPU xDiT per la generazione di immagini e video
- Serving Gemma 2 con più adattatori LoRA con il pacchetto DLC HuggingFace per l'inferenza PyTorch su Medium
- Utilizzare handle personalizzati per pubblicare PaliGemma per la sottotitolazione codificata delle immagini con il DLC HuggingFace per l'inferenza PyTorch (tutorial su LinkedIn)
- Esegui il deployment e pubblica un modello che utilizza VM spot o un notebook del tutorial sulle prenotazioni di Compute Engine
Ottimizzazione
Scopri di più sull'ottimizzazione dei modelli per personalizzare le risposte per casi d'uso specifici.
- Notebook del tutorial sulla messa a punto di Workbench
- Notebook del tutorial di ottimizzazione e valutazione
Valutazione
Scopri di più sulla valutazione delle risposte del modello con Vertex AI