Contoh upload

Setelah membuat instance Example Store, Anda dapat mulai membuat dan mengupload contoh ke instance tersebut. Tidak ada batasan jumlah contoh yang dapat Anda simpan dalam instance penyimpanan contoh. Contoh akan tersedia segera setelah Anda menguploadnya ke instance Example Store.

Beberapa skenario saat Anda perlu mengupload contoh meliputi hal berikut:

• Kueri tidak relevan dengan contoh yang ada.

• Model kesulitan dengan beberapa penalaran.

• Contoh yang tersedia tidak mencakup semua fungsi, hasil, atau penalaran yang Anda harapkan.

Dengan membuat contoh yang relevan dalam format yang diharapkan, Anda dapat mencapai hal berikut:

• Meningkatkan kemampuan LLM untuk memperhatikan contoh dan menggunakannya, serta menghindari perubahan pola respons yang tidak terduga akibat perubahan kecil pada perintah.

• Mengurangi potensi dampak negatif penambahan contoh untuk kueri yang tidak relevan.

• LLM berfungsi seperti yang diharapkan untuk kueri serupa.

Jika LLM menunjukkan perilaku atau alasan yang tidak terduga, Anda dapat mengupload respons yang telah dikoreksi untuk memandu model mengikuti pola atau alasan yang diharapkan dalam permintaan berikutnya.

Contoh di halaman ini memungkinkan Anda membuat contoh berdasarkan output LLM. Membuat contoh berdasarkan output dari LLM memiliki keuntungan berikut dibandingkan membuat contoh secara manual:

• Contoh penulisan berdasarkan output LLM yang diharapkan memerlukan upaya manual yang lebih sedikit.

• Dengan membuat contoh berdasarkan perilaku LLM yang tidak terduga, Anda dapat langsung memperbaiki kasus kegagalan.

• Anda dapat membuat contoh berdasarkan respons dari model berperforma baik untuk meningkatkan perilaku model lain. Misalnya, jika Gemini 1.5 Pro memberikan respons yang lebih baik daripada Gemini 1.5 Flash, tetapi dengan latensi yang lebih tinggi, Anda dapat membuat contoh menggunakan respons tersebut untuk mencapai performa serupa dengan latensi yang lebih rendah menggunakan Gemini 1.5 Flash.

Menggunakan contoh untuk meningkatkan performa panggilan fungsi

Anda dapat menggunakan contoh sedikit tembakan untuk meningkatkan performa panggilan fungsi dengan menunjukkan hal berikut: * Kapan fungsi tertentu dipanggil.

• Cara mengekstrak argumen untuk digunakan dalam panggilan fungsi.

• Cara model merespons berdasarkan respons yang ditampilkan oleh fungsi, atau beberapa fungsi dalam kasus penalaran multi-langkah.

Untuk mempelajari lebih lanjut pemanggilan fungsi, lihat dokumentasi Pemanggilan fungsi.

Prasyarat

Sebelum menggunakan contoh Python di halaman ini, Anda harus menginstal dan melakukan inisialisasi Vertex AI SDK untuk Python bagi Example Store di lingkungan Python lokal Anda.

1. Jalankan perintah berikut untuk menginstal Vertex AI SDK untuk Python bagi Example Store.

   pip install --upgrade google-cloud-aiplatform>=1.87.0

2. Gunakan contoh kode berikut untuk mengimpor dan menginisialisasi SDK untuk Example Store.

   import vertexai
   from vertexai.preview import example_stores
   
   vertexai.init(
     project="PROJECT_ID",
     location="LOCATION"
   )
   

   Ganti kode berikut:

   • PROJECT_ID: Project ID Anda.

   • LOCATION: Region Anda. Hanya us-central1 yang didukung.

Contoh upload

Gunakan contoh berikut untuk mengupload contoh ke instance Toko Contoh. Anda dapat mengupload maksimal lima contoh per permintaan.

from vertexai.preview.example_stores import ContentsExample, StoredContentsExample

client = genai.Client(
    http_options=genai_types.HttpOptions(api_version="v1"),
    vertexai=True,
    project="PROJECT_ID",,
    location="LOCATION")

user_content = Content(
    role="user",
    parts=[Part(text="EXAMPLE_QUERY")],
)

response = client.models.generate_content(
    model="MODEL_NAME",
    user_content,
    config=genai_types.GenerateContentConfig(
      tools=[FUNCTION_OR_FUNCTION_DECLARATION]
    )
  )

# Upload example.
example = {
  "contents_example": {
    "contents": [user_content.to_json_dict()],
    "expected_contents": [
      {"content": response.candidates[0].content.to_json_dict()},
      {"content": EXPECTED_FUNCTION_RESPONSE.to_json_dict()},
      {"content": EXPECTED_FINAL_MODEL_RESPONSE.to_json_dict()},
    ],
  },
  "search_key": user_content.parts[0].text,
}
example_store.upsert_examples(examples=[example])

user_content = Content(
    role="user",
    parts=[Part(text="EXAMPLE_QUERY")],
)

example = {
  "contents_example": {
    "contents": [user_content.to_json_dict()],
    "expected_contents": [
      {"content": EXPECTED_FUNCTION_CALL.to_json_dict()},
      {"content": EXPECTED_FUNCTION_RESPONSE.to_json_dict()},
      {"content": EXPECTED_FINAL_MODEL_RESPONSE.to_json_dict()},
    ],
  },
  "search_key": user_content.parts[0].text,
}

example_store.upsert_examples(examples=[example])

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/exampleStores/EXAMPLE_STORE_ID:upsertExamples

{
  "examples": [
      {
          "stored_contents_example": {
              "contents_example": {
                  "contents": [
                      {
                          "role": "user",
                          "parts": [
                              {
                                  "text": "Is there a store in Mountain View, CA that I can visit to try the new Pixel 8 Pro?"
                              }
                          ]
                      }
                  ],
                  "expected_contents": [
                      {
                          "content": {
                              "role": "model",
                              "parts": [
                                  {
                                      "text": ""Yes, there is a store located at 2000 N Shoreline Blvd, Mountain View, CA 94043, US."
                                  }
                              ]
                          }
                      }
                  ]
              },
              "search_key_generation_method": {
                  "last_entry": {}
              }
          }
      }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/exampleStores/EXAMPLE_STORE_ID:upsertExamples"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/exampleStores/EXAMPLE_STORE_ID:upsertExamples" | Select-Object -Expand Content

{
  "results": [
    {
      "example": {
        "exampleId": "exampleTypes/stored_contents_example/examples/EXAMPLE_ID",
        "storedContentsExample": {
          "searchKey": "Is there a store in Mountain View, CA that I can visit to try the new Pixel 8 Pro?",
          "contentsExample": {
            "contents": [
              {
                "role": "user",
                "parts": [
                  {
                    "text": "Is there a store in Mountain View, CA that I can visit to try the new Pixel 8 Pro?"
                  }
                ]
              }
            ],
            "expectedContents": [
              {
                "content": {
                  "role": "model",
                  "parts": [
                    {
                      "text": ""Yes, there is a store located at 2000 N Shoreline Blvd, Mountain View, CA 94043, US."
                    }
                  ]
                }
              }
            ]
          },
          "searchKeyGenerationMethod": {
            "lastEntry": {}
          }
        }
      }
    }
  ]
}

Langkah berikutnya

• Pelajari cara mengambil contoh.