Informazioni sull'ottimizzazione fine supervisionata per i modelli Gemini

L'ottimizzazione supervisionata è una validissima opzione se hai un'attività ben definita con dati etichettati disponibili. È particolarmente efficace per le applicazioni specifiche del dominio in cui la lingua o i contenuti differiscono in modo significativo dai dati su cui è stato originariamente addestrato il modello di grandi dimensioni. Puoi ottimizzare i tipi di dati testo, immagine, audio e documento.

L'ottimizzazione supervisionata adatta il comportamento del modello con un set di dati etichettati. Questo processo regola i pesi del modello per ridurre al minimo la differenza tra le sue previsioni e le etichette effettive. Ad esempio, può migliorare le prestazioni del modello per i seguenti tipi di attività:

  • Classificazione
  • Riassunto
  • Question answering estrattivo
  • Chat

Per una discussione sui principali casi d'uso del tuning, consulta il post del blog Centinaia di organizzazioni stanno eseguendo il fine-tuning dei modelli Gemini. Ecco i loro casi d'uso preferiti.

Per saperne di più, consulta Quando utilizzare il fine-tuning supervisionato per Gemini.

Modelli supportati

I seguenti modelli Gemini supportano l'ottimizzazione supervisionata:

Limitazioni

Gemini 2.5 Flash

Specifica Valore
Token di addestramento di input e output massimi 131.072
Token di pubblicazione di input e output massimi Come il modello Gemini di base
Dimensione massima del set di dati di convalida 5000 esempi
Dimensione massima del file del set di dati di addestramento 1 GB per JSONL
Dimensione massima del set di dati di addestramento 1 milione di esempi solo di testo o 300.000 esempi multimodali
Dimensioni adattatore I valori supportati sono 1, 2, 4, 8 e 16.

Gemini 2.0 Flash Gemini 2.0 Flash-Lite

Specifica Valore
Token di addestramento di input e output massimi 131.072
Token di pubblicazione di input e output massimi Come il modello Gemini di base
Dimensione massima del set di dati di convalida 5000 esempi
Dimensione massima del file del set di dati di addestramento 1 GB per JSONL
Dimensione massima del set di dati di addestramento 1 milione di esempi solo di testo o 300.000 esempi multimodali
Dimensioni adattatore I valori supportati sono 1, 2, 4 e 8.

Problemi noti

  • Un modello Gemini ottimizzato non può essere eliminato da Vertex AI Model Registry. Tuttavia, finché è inattivo, non comporta costi di inferenza.
  • L'applicazione della generazione controllata quando si inviano richieste di inferenza ai modelli Gemini ottimizzati può comportare una riduzione della qualità del modello a causa del disallineamento dei dati durante l'ottimizzazione e l'inferenza. Durante l'ottimizzazione, la generazione controllata non viene applicata, quindi il modello ottimizzato non è in grado di gestire bene la generazione controllata al momento dell'inferenza. L'ottimizzazione supervisionata personalizza in modo efficace il modello per generare output strutturati. Pertanto, non è necessario applicare la generazione controllata quando si effettuano richieste di inferenza sui modelli ottimizzati.

Casi d'uso per l'utilizzo del fine-tuning supervisionato

I modelli di base funzionano bene quando l'output o l'attività previsti possono essere definiti in modo chiaro e conciso in un prompt e il prompt produce costantemente l'output previsto. Se vuoi che un modello apprenda qualcosa di poco noto o specifico che si discosta dai pattern generali, potresti prendere in considerazione l'ottimizzazione del modello. Ad esempio, puoi utilizzare l'ottimizzazione del modello per insegnare al modello quanto segue:

  • Strutture o formati specifici per generare l'output.
  • Comportamenti specifici, ad esempio quando fornire un output conciso o dettagliato.
  • Output personalizzati specifici per tipi specifici di input.

I seguenti esempi sono casi d'uso difficili da acquisire solo con le istruzioni del prompt:

  • Classificazione: la risposta prevista è una parola o una frase specifica.

    La messa a punto del modello può contribuire a evitare che generi risposte prolisse.

  • Riassunto: il riassunto segue un formato specifico. Ad esempio, potresti dover rimuovere le informazioni che consentono l'identificazione personale (PII) nel riepilogo di una chat.

    Questa formattazione che sostituisce i nomi degli oratori con #Person1 e #Person2 è difficile da descrivere e il modello di base potrebbe non produrre una risposta di questo tipo.

  • Question answering estrattivo: la domanda riguarda un contesto e la risposta è una sottostringa del contesto.

    La risposta "Last Glacial Maximum" è una frase specifica del contesto.

  • Chat: devi personalizzare la risposta del modello in modo che segua una persona, un ruolo o un personaggio.

Puoi anche ottimizzare un modello nelle seguenti situazioni:

  • I prompt non producono i risultati previsti con sufficiente coerenza.
  • L'attività è troppo complicata da definire in un prompt. Ad esempio, vuoi che il modello esegua la clonazione del comportamento per un comportamento difficile da articolare in un prompt.
  • Hai intuizioni complesse su un'attività che sono difficili da formalizzare in un prompt.
  • Vuoi ridurre la lunghezza del contesto rimuovendo gli esempi few-shot.

Configura una regione del job di ottimizzazione

I dati utente, come il set di dati trasformato e il modello ottimizzato, vengono archiviati nella regione del job di ottimizzazione. Durante l'ottimizzazione, il calcolo può essere scaricato in altre regioni US o EU per gli acceleratori disponibili. Il trasferimento è trasparente per gli utenti.

  • Se utilizzi l'SDK Vertex AI, puoi specificare la regione durante l'inizializzazione. Ad esempio:

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Se crei un job di perfezionamento supervisionato inviando una richiesta POST utilizzando il metodo tuningJobs.create, utilizzi l'URL per specificare la regione in cui viene eseguito il job di perfezionamento. Ad esempio, nel seguente URL, specifica una regione sostituendo entrambe le istanze di TUNING_JOB_REGION con la regione in cui viene eseguito il job.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Se utilizzi la consoleGoogle Cloud , puoi selezionare il nome della regione nel campo a discesa Regione nella pagina Dettagli modello. Questa è la stessa pagina in cui selezioni il modello di base e un nome del modello ottimizzato.

Quota

La quota viene applicata al numero di job di ottimizzazione simultanei. Ogni progetto viene fornito con una quota predefinita per eseguire almeno un job di ottimizzazione. Si tratta di una quota globale, condivisa tra tutte le regioni disponibili e i modelli supportati. Se vuoi eseguire più job contemporaneamente, devi richiedere una quota aggiuntiva per Global concurrent tuning jobs.

Prezzi

I prezzi del fine-tuning supervisionato di Gemini sono disponibili qui: prezzi di Vertex AI.

Il numero di token di addestramento viene calcolato moltiplicando il numero di token nel set di dati di addestramento per il numero di epoche. Dopo l'ottimizzazione, continuano a essere applicati i costi di inferenza (richiesta di previsione) per il modello ottimizzato. Il prezzo dell'inferenza è lo stesso per ogni versione stabile di Gemini. Per saperne di più, consulta Versioni stabili del modello Gemini disponibili.

Passaggi successivi