Crea modelli di testo distillati per PaLM

REST

Per creare un job di distillazione del modello, invia una richiesta POST utilizzando il metodo pipelineJobs. Tieni presente che alcuni parametri non sono supportati da tutti i modelli. Assicurati di includere solo i parametri applicabili per il modello che stai distillando.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

• PIPELINEJOB_DISPLAYNAME: un nome visualizzato per il job pipeline.
• OUTPUT_DIR: l'URI del bucket in cui eseguire l'output degli elementi della pipeline.
• PROJECT_ID: il tuo ID progetto.
• MODEL_DISPLAYNAME: un nome visualizzato per il modello distillato caricato da pipelineJob.
• DATASET_URI: l'URI del file del set di dati.
• PIPELINE_JOB_REGION: la regione in cui viene eseguito il job di ottimizzazione della pipeline. Si tratta anche della regione predefinita in cui viene caricato il modello ottimizzato. Se vuoi caricare il modello in una regione diversa, utilizza il parametro location per specificare la regione di caricamento del modello ottimizzato. Per ulteriori informazioni, consulta Regione di caricamento del modello.
• MODEL_UPLOAD_REGION: (facoltativo) La regione in cui viene caricato il modello ottimizzato. Se non specifichi una regione di caricamento del modello, il modello ottimizzato viene caricato nella stessa regione in cui viene eseguito il job della pipeline. Per ulteriori informazioni, consulta la sezione Regione di caricamento del modello.
• ACCELERATOR_TYPE: (facoltativo, predefinito GPU) il tipo di acceleratore da utilizzare per ottimizzare il modello. Le opzioni valide sono:
  • GPU: utilizza otto GPU A100 da 80 GB per l'ottimizzazione. Assicurati di avere una quota sufficiente. Se scegli GPU, VPC-SC è supportato. CMEK è supportato se la località di ottimizzazione e la località di caricamento del modello sono us-centra1. Per ulteriori informazioni, vedi Impostazioni della regione di ottimizzazione supervisionata. Se scegli GPU, i calcoli di ottimizzazione del modello vengono eseguiti nella regione us-central1.
  • TPU: utilizza 64 core del pod TPU v3 per la regolazione. Assicurati di avere una quota sufficiente. CMEK non è supportato, ma VPC-SC è supportato. Se scegli TPU, i calcoli di ottimizzazione del modello vengono eseguiti nella regione europe-west4.
• TEACHER_MODEL_REFERENCE: il nome del modello di insegnante da utilizzare per l'estrazione. Il modello supportato è text-unicorn@001.
• STUDENT_MODEL_REFERENCE: il nome del modello dello studente da utilizzare per la distillazione. Il modello supportato è text-bison@002.
• STEPS: Il numero di passaggi da eseguire per l'ottimizzazione del modello. Il valore predefinito è 300. La dimensione del batch varia in base alla posizione di ottimizzazione e alle dimensioni del modello. Per i modelli 8K, come text-bison@002, chat-bison@002, code-bison@002 e codechat-bison@002:
  • us-central1 ha una dimensione del batch pari a 8.
  • europe-west4 ha una dimensione del batch pari a 24.
  Per i modelli a 32.000 pixel, come text-bison-32k, chat-bison-32k, code-bison-32k e codechat-bison-32k:
  • us-central1 ha una dimensione del batch pari a 8.
  • europe-west4 ha una dimensione del batch pari a 8.

  Ad esempio, se stai addestrando text-bison@002 in europe-west4, ci sono 240 esempi in un set di dati di addestramento e imposti steps su 20, il numero di esempi di addestramento è il prodotto di 20 passaggi e la dimensione del batch di 24, ovvero 480 passaggi di addestramento. In questo caso, il processo di addestramento prevede due epoche perché esamina gli esempi due volte. In us-central1, se un set di dati di addestramento contiene 240 esempi e imposti steps su 15, il numero di esempi di addestramento è il prodotto di 15 passaggi e la dimensione del batch di 8, ovvero 120 passaggi di addestramento. In questo caso, ci sono 0,5 epoche perché il numero di passaggi di addestramento è la metà del numero di esempi.

• LEARNING_RATE_MULTIPLIER: un moltiplicatore da applicare al tasso di apprendimento consigliato. Per utilizzare il tasso di apprendimento consigliato, usa 1.0.
• (Facoltativo) EVAL_DATASET_URI: l'URI del file JSONL contenente il set di dati di valutazione per la previsione e la valutazione batch. La valutazione non è supportata per chat-bison. Per ulteriori informazioni, consulta Formato del set di dati per l'ottimizzazione di un modello di codice. Il set di dati di valutazione richiede tra 10 e 250 esempi.
• EVAL_INTERVAL: (facoltativo, valore predefinito 20) il numero di passaggi di ottimizzazione tra ogni valutazione. L'intervallo di valutazione non è supportato per i modelli di chat. Poiché la valutazione viene eseguita sull'intero set di dati di valutazione, un intervallo di valutazione inferiore determina tempi di ottimizzazione più lunghi. Ad esempio, se steps è 200 e EVAL_INTERVAL è 100, otterrai solo due punti dati per le metriche di valutazione. Questo parametro richiede l'impostazione di evaluation_data_uri.
• ENABLE_EARLY_STOPPING: (Facoltativo, predefinito true) Un valore boolean che, se impostato su true, interrompe l'ottimizzazione prima di completare tutti i relativi passaggi se le prestazioni del modello non migliorano sufficientemente tra un'esecuzione della valutazione e l'altra secondo la misurazione dell'accuratezza dei token previsti. Se è false, l'ottimizzazione continua fino al completamento di tutti i relativi passaggi. Questo parametro richiede l'impostazione di evaluation_data_uri. L'opzione Abilita l'interruzione anticipata non è supportata per i modelli di chat.
• TENSORBOARD_RESOURCE_ID: (Facoltativo) L'ID di un'istanza Vertex AI TensorBoard. L'istanza Vertex AI TensorBoard viene utilizzata per creare un esperimento al termine del job di ottimizzazione. L'istanza TensorBoard di Vertex AI deve trovarsi nella stessa regione della pipeline di ottimizzazione.
• ENCRYPTION_KEY_NAME: (facoltativo) Il nome completo di una chiave di crittografia gestita dal cliente (CMEK) che vuoi utilizzare per la crittografia dei dati. Una chiave CMEK è disponibile solo in us-central1. Se utilizzi us-central1 e non specifichi una CMEK, viene utilizzata una chiave di proprietà di Google e gestita da Google. Per impostazione predefinita, in tutte le altre regioni disponibili viene utilizzata una chiave di proprietà di Google e gestita da Google. Per ulteriori informazioni, consulta la panoramica di CMEK.
• TEMPLATE_URI: l'URI per il modello di distillazione, https://us-kfp.pkg.dev/ml-pipeline/distillation/distillation/v1.0.0.
• SERVICE_ACCOUNT: (facoltativo) l'account di servizio utilizzato da Vertex AI per eseguire il job della pipeline. Per impostazione predefinita, viene utilizzato l'account di servizio predefinito (PROJECT_NUMBER‑compute@developer.gserviceaccount.com) di Compute Engine del progetto. Scopri di più su come collegare un account di servizio personalizzato.

Metodo HTTP e URL:

POST https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs

Corpo JSON della richiesta:

{
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "location": "MODEL_UPLOAD_REGION",
      "accelerator_type": "ACCELERATOR_TYPE",
      "teacher_model_reference": TEACHER_MODEL_REFERENCE,
      "student_model_reference": STUDENT_MODEL_REFERENCE,
      "train_steps": STEPS,
      "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER,
      "evaluation_data_uri": "gs://EVAL_DATASET_URI",
      "evaluation_interval": EVAL_INTERVAL,
      "enable_early_stopping": ENABLE_EARLY_STOPPING,
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION",
      "tensorboard_resource_id": "TENSORBOARD_ID",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "encryptionSpec": {
    "kmsKeyName": "ENCRYPTION_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT",
  "templateUri": "TEMPLATE_URI"
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente. Tieni presente che pipelineSpec è stato troncato per risparmiare spazio.

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/pipelineJobs/PIPELINEJOB_ID",
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "createTime": "CREATE_TIME",
  "updateTime": "UPDATE_TIME",
  "pipelineSpec": { ... },
  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "BILLING_ID"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "evaluation_data_uri": "EVAL_DATASET_URI",
      "evaluation_interval": "EVAL_INTERVAL",
      "enable_early_stopping": "ENABLE_EARLY_STOPPING",
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION",
      "tensorboard_resource_id": "TENSORBOARD_RESOURCE_ID",
      "accelerator_type": "ACCELERATOR_TYPE",
      "location": "MODEL_UPLOAD_REGION",
      "teacher_model_reference": "text-unicorn@001",
      "student_model_reference": "text-bison@002",
      "train_steps": STEPS,
      "learning_rate_multiplier": "LEARNING_RATE_MULTIPLIER",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "serviceAccount": "PROJECT_NUMBER-compute@developer.gserviceaccount.com",
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/distillation/distillation/v1.0.0",
  "templateMetadata": {
    "version": "sha256:c54b301482463df457b923faff255c528be7d1164531aa756b5974b3dc214b98"
  }
}

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.

from __future__ import annotations

import os

from typing import Optional

import vertexai
from vertexai.preview.language_models import TextGenerationModel, TuningEvaluationSpec


PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def distill_model(
    dataset: str,
    source_model: str,
    evaluation_dataset: Optional[str] = None,
) -> None:
    """Distill a new model using a teacher model and a dataset.
    Args:
        dataset (str): GCS URI of the JSONL file containing the training data.
            E.g., "gs://[BUCKET]/[FILENAME].jsonl".
        source_model (str): Name of the teacher model to distill from.
            E.g., "text-unicorn@001".
        evaluation_dataset (Optional[str]): GCS URI of the JSONL file containing the evaluation data.
    """
    # TODO developer - override these parameters as needed:
    vertexai.init(project=PROJECT_ID, location="us-central1")

    # Create a tuning evaluation specification with the evaluation dataset
    eval_spec = TuningEvaluationSpec(evaluation_data=evaluation_dataset)

    # Load the student model from a pre-trained model
    student_model = TextGenerationModel.from_pretrained("text-bison@002")

    # Start the distillation job using the teacher model and dataset
    distillation_job = student_model.distill_from(
        teacher_model=source_model,
        dataset=dataset,
        # Optional:
        train_steps=300,  # Number of training steps to use when tuning the model.
        evaluation_spec=eval_spec,
    )

    return distillation_job

Console

Per distillare un modello di testo utilizzando la console Google Cloud, segui questi passaggi:

1. Nella sezione Vertex AI della console Google Cloud, vai alla pagina Vertex AI Studio.

   Vai a Vertex AI Studio

2. Fai clic sulla scheda Ottimizzazione e distillazione.
3. Fai clic su add Crea modello distillato.
4. Configura i dettagli del modello:
   • Nome modello: inserisci un nome per il modello distillato.
   • Modello insegnante: seleziona il modello che vuoi utilizzare per il modello insegnante.
   • Modello studente: seleziona il modello da utilizzare per il modello studente.
   • Regione: seleziona la regione in cui viene eseguito il job di ottimizzazione della pipeline e in cui è stato eseguito il deployment del modello ottimizzato.
   • Directory di lavoro: inserisci la posizione di Cloud Storage in cui vengono archiviati gli artefatti quando il modello viene ottimizzato.
5. Espandi Opzioni avanzate per configurare le impostazioni avanzate.
   • Passaggi di addestramento: inserisci il numero di passaggi da eseguire per ottimizzare il modello. Il valore predefinito è 300. La dimensione del batch varia in base alla posizione di ottimizzazione e alle dimensioni del modello. Per i modelli 8K, come text-bison@002, chat-bison@002, code-bison@002 e codechat-bison@002:
     • us-central1 ha una dimensione del batch pari a 8.
     • europe-west4 ha una dimensione del batch pari a 24.
     Per i modelli a 32.000 pixel, come text-bison-32k, chat-bison-32k, code-bison-32k e codechat-bison-32k:
     • us-central1 ha una dimensione del batch pari a 8.
     • europe-west4 ha una dimensione del batch pari a 8.

     Ad esempio, se stai addestrando text-bison@002 in europe-west4, ci sono 240 esempi in un set di dati di addestramento e imposti steps su 20, il numero di esempi di addestramento è il prodotto di 20 passaggi e la dimensione del batch di 24, ovvero 480 passaggi di addestramento. In questo caso, il processo di addestramento prevede due epoche perché esamina gli esempi due volte. In us-central1, se un set di dati di addestramento contiene 240 esempi e imposti steps su 15, il numero di esempi di addestramento è il prodotto di 15 passaggi e la dimensione del batch di 8, ovvero 120 passaggi di addestramento. In questo caso, ci sono 0,5 epoche perché il numero di passaggi di addestramento è la metà del numero di esempi.

   • Moltiplicatore del tasso di apprendimento: inserisci la dimensione del passaggio in ogni iterazione. Il valore predefinito è 1.
   • (Facoltativo) Tipo di acceleratore: inserisci il tipo di acceleratore da utilizzare per ottimizzare il modello. Le opzioni valide sono:
     • GPU: utilizza otto GPU A100 da 80 GB per l'ottimizzazione. Assicurati di avere una quota sufficiente. Se scegli GPU, VPC-SC è supportato. CMEK è supportato se la località di ottimizzazione e la località di caricamento del modello sono us-centra1. Per ulteriori informazioni, vedi Impostazioni della regione di ottimizzazione supervisionata. Se scegli GPU, i calcoli di ottimizzazione del modello vengono eseguiti nella regione us-central1.
     • TPU: utilizza 64 core del pod TPU v3 per la regolazione. Assicurati di avere una quota sufficiente. CMEK non è supportato, ma VPC-SC è supportato. Se scegli TPU, i calcoli di ottimizzazione del modello vengono eseguiti nella regione europe-west4.
   • (Facoltativo) Aggiungi un'istanza TensorBoard: l'ID di un'istanza Vertex AI TensorBoard. L'istanza Vertex AI TensorBoard viene utilizzata per creare un esperimento al termine del job di ottimizzazione. L'istanza TensorBoard di Vertex AI deve trovarsi nella stessa regione della pipeline di ottimizzazione.
   • (Facoltativo) Crittografia: scegli se utilizzare una chiave di proprietà e gestita da Google o una chiave di crittografia gestita dal cliente (CMEK). La chiave CMEK per la crittografia è disponibile solo nella regione us-central1. In tutte le altre regioni disponibili, viene utilizzata una chiave di proprietà di Google e gestita da Google. Per ulteriori informazioni, consulta la panoramica di CMEK.
   • (Facoltativo) Account di servizio: scegli un account di servizio gestito dall'utente. Un account di servizio determina a quali risorse Google Cloud può accedere il tuo codice di servizio. Se non scegli un account di servizio, verrà utilizzato un agente di servizio che include le autorizzazioni appropriate per la maggior parte dei modelli.
6. Fai clic su Continua.
7. Se vuoi caricare il file del set di dati di distillazione, seleziona radio_button_checked Carica il file JSONL in Cloud Storage. Se il file del set di dati si trova già in un bucket Cloud Storage, seleziona radio_button_checked File JSONL esistente su Cloud Storage.

   Carica un file JSONL

   • In Seleziona file JSONL, fai clic su Sfoglia e seleziona il file del set di dati.
   • In Posizione del set di dati, fai clic su Sfoglia e seleziona il bucket Cloud Storage in cui vuoi archiviare il file del set di dati.

   Utilizzare un file JSONL esistente

   In Percorso file Cloud Storage, fai clic su Sfoglia e seleziona il bucket Cloud Storage in cui si trova il file del set di dati.

8. (Facoltativo) Per valutare il modello distillato, seleziona Abilita la valutazione del modello e configura la valutazione del modello:
   • (Facoltativo) Set di dati di valutazione: l'URI del file JSONL contenente il set di dati di valutazione per la previsione e la valutazione batch. La valutazione non è supportata per codechat-bison. Per ulteriori informazioni, consulta Formato del set di dati per l'ottimizzazione di un modello di codice. Il set di dati di valutazione richiede tra 10 e 250 esempi.
   • (Facoltativo) Intervallo di valutazione: il numero di passaggi per l'ottimizzazione tra ogni valutazione. Il valore predefinito è 20. L'intervallo di valutazione non è supportato per i modelli di chat. Poiché la valutazione viene eseguita sull'intero set di dati di valutazione, un intervallo di valutazione inferiore determina tempi di ottimizzazione più lunghi. Ad esempio, se steps è 200 e EVAL_INTERVAL è 100, otterrai solo due punti dati per le metriche di valutazione. Questo parametro richiede l'impostazione di evaluation_data_uri.
   • (Facoltativo) Abilita l'interruzione anticipata: il valore predefinito è true. Un valore boolean che, se impostato su true, interrompe l'ottimizzazione prima di completare tutti i relativi passaggi se le prestazioni del modello non migliorano sufficientemente tra un'esecuzione della valutazione e l'altra secondo la misurazione dell'accuratezza dei token previsti. Se è false, l'ottimizzazione continua fino al completamento di tutti i relativi passaggi. Questo parametro richiede l'impostazione di evaluation_data_uri. L'opzione Abilita l'interruzione anticipata non è supportata per i modelli di chat.
   • Abilita la selezione del checkpoint: se questa opzione è attivata, Vertex AI seleziona e restituisce il checkpoint con le migliori prestazioni di valutazione del modello tra tutti i checkpoint creati durante il job di ottimizzazione. Se l'opzione è disabilitata, viene restituito il checkpoint finale creato durante il job di ottimizzazione. Ogni checkpoint fa riferimento a uno snapshot del modello durante un'operazione di ottimizzazione.
   • (Facoltativo) Istanza TensorBoard: l'ID di un'istanza Vertex AI TensorBoard. L'istanza Vertex AI TensorBoard viene utilizzata per creare un esperimento al termine del job di ottimizzazione. L'istanza TensorBoard di Vertex AI deve trovarsi nella stessa regione della pipeline di ottimizzazione.
9. Fai clic su Avvia distillazione.

Python

Prima di provare questo esempio, segui le istruzioni di configurazione Python riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Python di Vertex AI.

Per autenticarti a Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.

import vertexai

from vertexai.language_models import TextGenerationModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

vertexai.init(project=PROJECT_ID, location="us-central1")

model = TextGenerationModel.from_pretrained("text-bison@002")
tuned_model_names = model.list_tuned_model_names()
print(tuned_model_names)
# Example response:
# ['projects/1234567890/locations/us-central1/models/1234567889012345',
# ...]

Console

Per visualizzare i modelli distillati nella console Google Cloud, vai alla pagina Model Registry di Vertex AI.

Vai a Vertex AI Model Registry