Eseguire la migrazione dall'API PaLM all'API Gemini su Vertex AI

Questa guida mostra come eseguire la migrazione del codice dell'SDK Vertex AI per Python dall'utilizzo dell'API PaLM all'utilizzo dell'API Gemini. Con Gemini puoi generare testo, conversazioni con più turni (chat) e codice. Dopo la migrazione, controlla le risposte perché l'output di Gemini potrebbe essere diverso da quello di PaLM. Per ulteriori informazioni, consulta la Introduzione alle classi multimodali nell'SDK Vertex AI.

Differenze tra Gemini e PaLM

Di seguito sono riportate alcune differenze tra i modelli Gemini e PaLM:

• Le strutture di risposta sono diverse. Per informazioni sulla struttura della risposta di Gemini, consulta il corpo della risposta del modello di riferimento dell'API Gemini.

• Le loro categorie di sicurezza sono diverse. Per scoprire le differenze tra le impostazioni di sicurezza di Gemini e PaLM, consulta Differenze principali tra Gemini e altre famiglie di modelli.

• Gemini non può eseguire il completamento del codice. Se devi creare un'applicazione di completamento del codice, utilizza il modello code-gecko. Per ulteriori informazioni, consulta il modello di completamento del codice di Codey.

• Per la generazione di codice, Gemini ha una percentuale di blocchi di recitazione più elevata.

• Il punteggio di affidabilità nei modelli di generazione di codice di Codey che indica il grado di certezza del modello nella sua risposta non è visibile in Gemini.

Aggiorna il codice PaLM per utilizzare i modelli Gemini

I metodi della classe GenerativeModel sono per lo più uguali a quelli delle classi PaLM. Ad esempio, utilizza GenerativeModel.start_chat per sostituire ChatModel.start_chat, l'equivalente di PaLM. Tuttavia, poiché Google Cloud è sempre impegnato a migliorare e aggiornare Gemini, potresti riscontrare alcune differenze. Per ulteriori informazioni, consulta la sezione Riferimento all'SDK Python

Per eseguire la migrazione dall'API PaLM all'API Gemini, sono necessarie le seguenti modifiche al codice:

• Per tutte le classi di modelli PaLM, utilizza la classe GenerativeModel in Gemini.

• Per utilizzare la classe GenerativeModel, esegui la seguente dichiarazione di importazione:

  from vertexai.generative_models import GenerativeModel

• Per caricare un modello Gemini, utilizza il costruttore GenerativeModel anziché il metodo from_pretrained. Ad esempio, per caricare il modello Gemini 1.0 Pro, utilizza GenerativeModel(gemini-1.0-pro).

• Per generare testo in Gemini, utilizza il metodo GenerativeModel.generate_content instead of the predict method that's used on PaLM models. Ad esempio:

   model = GenerativeModel("gemini-1.0-pro-002")
   response = model.generate_content("Write a short poem about the moon")

Confronto tra la classe Gemini e la classe PaLM

Ogni classe di modello PaLM viene sostituita dalla classe GenerativeModel in Gemini. La tabella seguente mostra le classi utilizzate dai modelli PaLM e la classe equivalente in Gemini.

Istruzioni di configurazione comuni

La procedura di configurazione è la stessa sia per l'API PaLM sia per l'API Gemini in Vertex AI. Per ulteriori informazioni, consulta Introduzione all'SDK Vertex AI per Python. Di seguito è riportato un breve esempio di codice che installa l'SDK Vertex AI per Python.

pip install google-cloud-aiplatform
import vertexai
vertexai.init(project="PROJECT_ID", location="LOCATION")

In questo codice campione, sostituisci PROJECT_ID con l'ID del tuo progetto Google Cloud e LOCATION con la posizione del progetto Google Cloud (ad esempio us-central1).

Esempi di codice di Gemini e PaLM

Ognuna delle seguenti coppie di esempi di codice include il codice PaLM e, accanto, il codice Gemini di cui è stata eseguita la migrazione dal codice PaLM.

Generazione di testo: di base

Gli esempi di codice riportati di seguito mostrano le differenze tra l'API PaLM e l'API Gemini per la creazione di un modello di generazione di testo.

from vertexai.language_models import TextGenerationModel

model = TextGenerationModel.from_pretrained("text-bison@002")

response = model.predict(prompt="The opposite of hot is")
print(response.text) #  'cold.'
        

from vertexai.generative_models import GenerativeModel

model = GenerativeModel("gemini-1.0-pro")

responses = model.generate_content("The opposite of hot is")

for response in responses:
    print(response.text)
        

Generazione di testo con parametri

I seguenti esempi di codice mostrano le differenze tra l'API PaLM e l'API Gemini per la creazione di un modello di generazione di testo, con parametri facoltativi.

from vertexai.language_models import TextGenerationModel

model = TextGenerationModel.from_pretrained("text-bison@002")

prompt = """
You are an expert at solving word problems.

Solve the following problem:

I have three houses, each with three cats.
each cat owns 4 mittens, and a hat. Each mitten was
knit from 7m of yarn, each hat from 4m.
How much yarn was needed to make all the items?

Think about it step by step, and show your work.
"""

response = model.predict(
    prompt=prompt,
    temperature=0.1,
    max_output_tokens=800,
    top_p=1.0,
    top_k=40
)

print(response.text)
        

from vertexai.generative_models import GenerativeModel

model = GenerativeModel("gemini-1.0-pro")

prompt = """
You are an expert at solving word problems.

Solve the following problem:

I have three houses, each with three cats.
each cat owns 4 mittens, and a hat. Each mitten was
knit from 7m of yarn, each hat from 4m.
How much yarn was needed to make all the items?

Think about it step by step, and show your work.
"""

responses = model.generate_content(
    prompt,
    generation_config={
        "temperature": 0.1,
        "max_output_tokens": 800,
        "top_p": 1.0,
        "top_k": 40,
    }
  )

for response in responses:
    print(response.text)
        

Chat

I seguenti esempi di codice mostrano le differenze tra l'API PaLM e l'API Gemini per la creazione di un modello di chat.

from vertexai.language_models import ChatModel

model = ChatModel.from_pretrained("chat-bison@002")

chat = model.start_chat()

print(
    chat.send_message(
        """
Hello! Can you write a 300 word abstract for a research paper I need to write about the impact of AI on society?
"""
    )
)

print(
    chat.send_message(
        """
Could you give me a catchy title for the paper?
"""
    )
)
        

from vertexai.generative_models import GenerativeModel

model = GenerativeModel("gemini-1.0-pro")

chat = model.start_chat()


responses = chat.send_message(
        """
Hello! Can you write a 300 word abstract for a research paper I need to write about the impact of AI on society?
"""
    )

for response in responses:
   print(response.text)


responses = chat.send_message(
        """
Could you give me a catchy title for the paper?
"""
    )

for response in responses:
   print(response.text)
        

Generazione del codice

I seguenti esempi di codice mostrano le differenze tra l'API PaLM e l'API Gemini per la generazione di una funzione che prevede se un anno è bisestile.

from vertexai.language_models import CodeGenerationModel

model = CodeGenerationModel.from_pretrained("code-bison@002")

response = model.predict(
        prefix="Write a function that checks if a year is a leap year."
    )

print(response.text)
        

from vertexai.generative_models import GenerativeModel

model = GenerativeModel("gemini-1.0-pro-002")

response = model.generate_content("Write a function that checks if a year is a leap year.")

print(response.text)
        

Eseguire la migrazione dei prompt ai modelli Gemini

Se hai insiemi di prompt che hai utilizzato in precedenza con i modelli PaLM 2, puoi ottimizzarli per l'utilizzo con i modelli Gemini utilizzando lo ottimizzatore di prompt di Vertex AI (anteprima).

Passaggi successivi

• Per ulteriori dettagli sui modelli e sulle funzionalità più recenti, consulta la pagina Modelli Google.