Carica esempi

Dopo aver creato un'istanza di Example Store, puoi iniziare a creare e caricare esempi. Non esiste un limite al numero di esempi che puoi archiviare in un'istanza dell'archivio di esempi. Gli esempi diventano disponibili immediatamente dopo il caricamento nell'istanza dell'Example Store.

Ecco alcuni scenari in cui devi caricare esempi:

• Le query non sono pertinenti agli esempi esistenti.

• Il modello ha difficoltà con alcuni ragionamenti.

• Gli esempi disponibili non coprono tutte le funzioni, i risultati o il ragionamento che ti aspetti.

Creando esempi pertinenti nel formato previsto, puoi ottenere i seguenti risultati:

• Migliora la capacità dell'LLM di prestare attenzione agli esempi e utilizzarli, evitando modifiche impreviste ai pattern di risposta derivanti da piccole modifiche al prompt.

• Ridurre il potenziale impatto negativo dell'aggiunta di esempi per query non pertinenti.

• L'LLM funziona come previsto per query simili.

Se il LLM mostra un comportamento o un ragionamento inatteso, puoi caricare una risposta corretta per guidare il modello a seguire il pattern o il ragionamento previsto nelle richieste successive.

Gli esempi in questa pagina ti consentono di creare esempi basati sull'output dell'LLM. La creazione di esempi basati sull'output di un modello LLM presenta i seguenti vantaggi rispetto alla creazione manuale di esempi:

• La creazione di esempi basati sull'output previsto dell'LLM richiede meno interventi manuali.

• Creando esempi basati sul comportamento imprevisto degli LLM, puoi correggere direttamente i casi di errore.

• Puoi creare esempi basati sulle risposte di modelli con un buon rendimento per migliorare il comportamento di altri modelli. Ad esempio, se Gemini 1.5 Pro fornisce risposte migliori rispetto a Gemini 1.5 Flash, ma con una latenza maggiore, puoi creare esempi utilizzando queste risposte per ottenere prestazioni simili a latenze inferiori utilizzando Gemini 1.5 Flash.

Utilizzare esempi per migliorare le prestazioni delle chiamate di funzione

Puoi utilizzare esempi few-shot per migliorare le prestazioni della chiamata di funzione dimostrando quanto segue: * Quando viene richiamata una determinata funzione.

• Come estrarre gli argomenti da utilizzare nella chiamata di funzione.

• Come risponde il modello in base alla risposta restituita dalla funzione o da più funzioni in caso di ragionamento in più passaggi.

Per saperne di più sulla chiamata di funzione, consulta la documentazione sulla chiamata di funzione.

Prerequisiti

Prima di utilizzare gli esempi Python in questa pagina, devi installare e inizializzare l'SDK Vertex AI per Python per Example Store nel tuo ambiente Python locale.

1. Esegui il seguente comando per installare l'SDK Vertex AI Python per Example Store.

   pip install --upgrade google-cloud-aiplatform>=1.87.0

2. Utilizza il seguente esempio di codice per importare e inizializzare l'SDK per Example Store.

   import vertexai
   from vertexai.preview import example_stores
   
   vertexai.init(
     project="PROJECT_ID",
     location="LOCATION"
   )
   

   Sostituisci quanto segue:

   • PROJECT_ID: il tuo ID progetto.

   • LOCATION: La tua regione. È supportato solo us-central1.

Carica esempi

Utilizza i seguenti esempi per caricare esempi in un'istanza di Example Store. Puoi caricare un massimo di cinque esempi per richiesta.

from vertexai.preview.example_stores import ContentsExample, StoredContentsExample

client = genai.Client(
    http_options=genai_types.HttpOptions(api_version="v1"),
    vertexai=True,
    project="PROJECT_ID",,
    location="LOCATION")

user_content = Content(
    role="user",
    parts=[Part(text="EXAMPLE_QUERY")],
)

response = client.models.generate_content(
    model="MODEL_NAME",
    user_content,
    config=genai_types.GenerateContentConfig(
      tools=[FUNCTION_OR_FUNCTION_DECLARATION]
    )
  )

# Upload example.
example = {
  "contents_example": {
    "contents": [user_content.to_json_dict()],
    "expected_contents": [
      {"content": response.candidates[0].content.to_json_dict()},
      {"content": EXPECTED_FUNCTION_RESPONSE.to_json_dict()},
      {"content": EXPECTED_FINAL_MODEL_RESPONSE.to_json_dict()},
    ],
  },
  "search_key": user_content.parts[0].text,
}
example_store.upsert_examples(examples=[example])

user_content = Content(
    role="user",
    parts=[Part(text="EXAMPLE_QUERY")],
)

example = {
  "contents_example": {
    "contents": [user_content.to_json_dict()],
    "expected_contents": [
      {"content": EXPECTED_FUNCTION_CALL.to_json_dict()},
      {"content": EXPECTED_FUNCTION_RESPONSE.to_json_dict()},
      {"content": EXPECTED_FINAL_MODEL_RESPONSE.to_json_dict()},
    ],
  },
  "search_key": user_content.parts[0].text,
}

example_store.upsert_examples(examples=[example])

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/exampleStores/EXAMPLE_STORE_ID:upsertExamples

{
  "examples": [
      {
          "stored_contents_example": {
              "contents_example": {
                  "contents": [
                      {
                          "role": "user",
                          "parts": [
                              {
                                  "text": "Is there a store in Mountain View, CA that I can visit to try the new Pixel 8 Pro?"
                              }
                          ]
                      }
                  ],
                  "expected_contents": [
                      {
                          "content": {
                              "role": "model",
                              "parts": [
                                  {
                                      "text": ""Yes, there is a store located at 2000 N Shoreline Blvd, Mountain View, CA 94043, US."
                                  }
                              ]
                          }
                      }
                  ]
              },
              "search_key_generation_method": {
                  "last_entry": {}
              }
          }
      }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/exampleStores/EXAMPLE_STORE_ID:upsertExamples"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/exampleStores/EXAMPLE_STORE_ID:upsertExamples" | Select-Object -Expand Content

{
  "results": [
    {
      "example": {
        "exampleId": "exampleTypes/stored_contents_example/examples/EXAMPLE_ID",
        "storedContentsExample": {
          "searchKey": "Is there a store in Mountain View, CA that I can visit to try the new Pixel 8 Pro?",
          "contentsExample": {
            "contents": [
              {
                "role": "user",
                "parts": [
                  {
                    "text": "Is there a store in Mountain View, CA that I can visit to try the new Pixel 8 Pro?"
                  }
                ]
              }
            ],
            "expectedContents": [
              {
                "content": {
                  "role": "model",
                  "parts": [
                    {
                      "text": ""Yes, there is a store located at 2000 N Shoreline Blvd, Mountain View, CA 94043, US."
                    }
                  ]
                }
              }
            ]
          },
          "searchKeyGenerationMethod": {
            "lastEntry": {}
          }
        }
      }
    }
  ]
}

Passaggi successivi

• Scopri come recuperare gli esempi.