Utilizzare i modelli aperti di Gemma

Gemma è un insieme di modelli aperti di intelligenza artificiale generativa (IA) leggeri. I modelli Gemma sono disponibili per l'esecuzione nelle tue applicazioni e su hardware, dispositivi mobili o servizi in hosting. Puoi anche personalizzare questi modelli utilizzando tecniche di ottimizzazione per eccellere nell'esecuzione di attività importanti per te e i tuoi utenti. I modelli Gemma si basano su modelli Gemini e sono destinati alla community di sviluppo dell'IA, che può estendersi e andare oltre.

Il perfezionamento può aiutare a migliorare le prestazioni di un modello in attività specifiche. Poiché i modelli nella famiglia di modelli Gemma sono a peso aperto, puoi ottimizzarli utilizzando il framework IA che preferisci e l'SDK Vertex AI. Puoi aprire un esempio di blocco note per ottimizzare il modello Gemma utilizzando un link disponibile nella scheda del modello Gemma in Model Garden.

I seguenti modelli Gemma sono disponibili per l'uso con Vertex AI. Per scoprire di più sui modelli Gemma e testarli, consulta le schede dei modelli di Model Garden.

Di seguito sono riportate alcune opzioni per l'utilizzo di Gemma:

Utilizzare Gemma con Vertex AI

Vertex AI offre una piattaforma gestita per creare e scalare rapidamente progetti di machine learning senza bisogno di competenze MLOps interne. Puoi utilizzare Vertex AI come applicazione downstream che gestisce i modelli Gemma. Ad esempio, puoi trasferire i pesi dall'implementazione di Keras di Gemma. Poi puoi usare Vertex AI per fornire quella versione di Gemma e ottenere previsioni. Ti consigliamo di utilizzare Vertex AI se cerchi funzionalità MLOps end-to-end, funzionalità ML a valore aggiunto e un'esperienza serverless per uno sviluppo semplificato.

Per iniziare a utilizzare Gemma, consulta i seguenti blocchi note:

• Pubblica Gemma 3 in Vertex AI

• Pubblica Gemma 2 in Vertex AI

• Pubblica Gemma in Vertex AI

• Ottimizza Gemma 3 utilizzando PEFT ed esegui il deployment su Vertex AI da Vertex

• Ottimizza Gemma 2 utilizzando PEFT ed esegui il deployment su Vertex AI da Vertex

• Ottimizza Gemma utilizzando PEFT ed esegui il deployment su Vertex AI da Vertex

• Ottimizza Gemma utilizzando PEFT ed esegui il deployment su Vertex AI da Huggingface

• Ottimizza Gemma utilizzando KerasNLP ed esegui il deployment su Vertex AI

• Ottimizza Gemma con Ray su Vertex AI ed esegui il deployment su Vertex AI

• Esegui l'inferenza locale con ShieldGemma 2 con i trasformatori Hugging Face

Utilizza Gemma in altri Google Cloud prodotti

Puoi utilizzare Gemma con altri Google Cloud prodotti, come Google Kubernetes Engine e Dataflow.

Utilizzare Gemma con GKE

Google Kubernetes Engine (GKE) è la Google Cloud soluzione per Kubernetes gestito che offre scalabilità, sicurezza, resilienza ed costi contenuti. Ti consigliamo questa opzione se hai già investimenti Kubernetes, la tua organizzazione ha competenze MLOps interne o se hai bisogno di un controllo granulare su carichi di lavoro IA/ML complessi con requisiti unici di sicurezza, pipeline di dati e gestione delle risorse. Per saperne di più, guarda i seguenti tutorial nella documentazione di GKE:

• Servi Gemma con vLLM
• Gestisci Gemma con TGI
• Serviamo Gemma con Triton e TensorRT-LLM
• Serviamo Gemma con JetStream

Usa Gemma con Dataflow

Puoi utilizzare i modelli Gemma con Dataflow per l'analisi del sentiment. Usa Dataflow per eseguire pipeline di inferenza che usano i modelli Gemma. Per scoprire di più, consulta Eseguire pipeline di inferenza con i modelli aperti di Gemma.

Usa Gemma con Colab

Puoi usare Gemma con Colaboratory per creare la tua soluzione Gemma. In Colab puoi usare Gemma con opzioni di framework come PyTorch e JAX. Per saperne di più, consulta:

• Iniziare a utilizzare Gemma con Keras.
• Inizia a utilizzare Gemma con PyTorch.
• Ottimizzazione di base con Gemma utilizzando Keras.
• Ottimizzazione distribuita con Gemma utilizzando Keras.

Dimensioni e funzionalità del modello Gemma

I modelli Gemma sono disponibili in diverse dimensioni per consentirti di creare soluzioni di IA generativa in base alle risorse di calcolo disponibili, alle funzionalità di cui hai bisogno e a dove vuoi eseguirle. Ogni modello è disponibile in una versione ottimizzata e in una non ottimizzata:

• Preaddestrato: questa versione del modello non è stata addestrata su attività o istruzioni specifiche oltre al set di addestramento dei dati principali di Gemma. È sconsigliato utilizzare questo modello senza eseguire alcune ottimizzazioni.

• Ottimizzata per le istruzioni: questa versione del modello è stata addestrata con interazioni con il linguaggio umano per poter partecipare a una conversazione, come per un bot di chat di base.

• Mix ottimizzato: questa versione del modello è ottimizzata su una combinazione di set di dati accademici e accetta prompt in linguaggio naturale.

Dimensioni dei parametri inferiori significano requisiti di risorse inferiori e maggiore flessibilità del deployment.

Gemma è stato testato utilizzando l'hardware TPU v5e appositamente realizzato da Google e l'hardware GPU NVIDIA L4(G2 Standard), A100(A2 Standard) e H100(A3 High).

Passaggi successivi

• Consulta la documentazione di Gemma.