Jalankan AutoSxS untuk melakukan evaluasi berbasis model berpasangan

Perangkuman

Tugas summarization memiliki batas token input 4.096.

Daftar kriteria evaluasi untuk summarization adalah sebagai berikut:

Jawaban pertanyaan

Tugas question_answering memiliki batas token input 4.096.

Daftar kriteria evaluasi untuk question_answering adalah sebagai berikut:

REST

Untuk membuat tugas evaluasi model, kirim permintaan POST menggunakan metode pipelineJobs.

Sebelum menggunakan data permintaan apa pun, buat pergantian berikut:

• PIPELINEJOB_DISPLAYNAME : Nama tampilan untuk pipelineJob.
• PROJECT_ID : Project Google Cloud yang menjalankan komponen pipeline.
• LOCATION : Wilayah untuk menjalankan komponen pipeline. us-central1 didukung.
• OUTPUT_DIR : URI Cloud Storage untuk menyimpan output evaluasi.
• EVALUATION_DATASET : Tabel BigQuery atau daftar jalur Cloud Storage yang dipisahkan koma ke set data JSONL yang berisi contoh evaluasi.
• TASK : Tugas evaluasi, yang dapat berupa salah satu dari [summarization, question_answering].
• ID_COLUMNS : Kolom yang membedakan contoh evaluasi unik.
• AUTORATER_PROMPT_PARAMETERS : Parameter perintah Autorater dipetakan ke kolom atau template. Parameter yang diharapkan adalah: inference_instruction (detail tentang cara menjalankan tugas) dan inference_context (konten yang akan dirujuk untuk melakukan tugas). Sebagai contoh, {'inference_context': {'column': 'my_prompt'}} menggunakan kolom `my_prompt` set data evaluasi untuk konteks autorater.
• RESPONSE_COLUMN_A : Nama kolom dalam set data evaluasi yang berisi prediksi yang telah ditentukan, atau nama kolom dalam output Model A yang berisi prediksi. Jika tidak ada nilai yang diberikan, nama kolom output model yang benar akan mencoba disimpulkan.
• RESPONSE_COLUMN_B : Nama kolom dalam set data evaluasi yang berisi prediksi yang telah ditentukan, atau nama kolom dalam output Model B yang berisi prediksi. Jika tidak ada nilai yang diberikan, nama kolom output model yang benar akan mencoba disimpulkan.
• MODEL_A (Opsional): Nama resource model (projects/{project}/locations/{location}/models/{model}@{version}) yang sepenuhnya memenuhi syarat atau nama resource model penayang (publishers/{publisher}/models/{model}). Jika respons Model A ditentukan, parameter ini tidak boleh diberikan.
• MODEL_B (Opsional): Nama resource model (projects/{project}/locations/{location}/models/{model}@{version}) yang sepenuhnya memenuhi syarat atau nama resource model penayang (publishers/{publisher}/models/{model}). Jika respons Model B ditentukan, parameter ini tidak boleh diberikan.
• MODEL_A_PROMPT_PARAMETERS (Opsional): Parameter template perintah Model A dipetakan ke kolom atau template. Jika respons Model A telah ditetapkan sebelumnya, parameter ini tidak boleh diberikan. Contoh: {'prompt': {'column': 'my_prompt'}} menggunakan kolom my_prompt set data evaluasi untuk parameter perintah bernama prompt.
• MODEL_B_PROMPT_PARAMETERS (Opsional): Parameter template perintah Model B dipetakan ke kolom atau template. Jika respons Model B telah ditetapkan sebelumnya, parameter ini tidak boleh diberikan. Contoh: {'prompt': {'column': 'my_prompt'}} menggunakan kolom my_prompt set data evaluasi untuk parameter perintah bernama prompt.

Isi JSON permintaan

  {
    "displayName": "PIPELINEJOB_DISPLAYNAME",
    "runtimeConfig": {
        "gcsOutputDirectory": "gs://OUTPUT_DIR",
        "parameterValues": {
            "evaluation_dataset": "EVALUATION_DATASET",
            "id_columns": ["ID_COLUMNS"],
            "task": "TASK",
            "autorater_prompt_parameters": AUTORATER_PROMPT_PARAMETERS,
            "response_column_a": "RESPONSE_COLUMN_A",
            "response_column_b": "RESPONSE_COLUMN_B",
            "model_a": "MODEL_A",
            "model_a_prompt_parameters": MODEL_A_PROMPT_PARAMETERS,
            "model_b": "MODEL_B",
            "model_b_prompt_parameters": MODEL_B_PROMPT_PARAMETERS,
        },
    },
    "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default"
  }

Gunakan curl untuk mengirim permintaan Anda.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

Respons

  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "1234567890123456789"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://my-evaluation-bucket/output",
    "parameterValues": {
      "evaluation_dataset": "gs://my-evaluation-bucket/output/data.json",
      "id_columns": [
        "context"
      ],
      "task": "question_answering",
      "autorater_prompt_parameters": {
        "inference_instruction": {
          "template": "Answer the following question: {{ question }} }."
        },
        "inference_context": {
          "column": "context"
        }
      },
      "response_column_a": "",
      "response_column_b": "response_b",
      "model_a": "publishers/google/models/text-bison@001",
      "model_a_prompt_parameters": {
        "prompt": {
          "template": "Answer the following question from the point of view of a college professor: {{ question }}\n{{ context }} }"
        }
      },
      "model_b": "",
      "model_b_prompt_parameters": {}
    }
  },
  "serviceAccount": "123456789012-compute@developer.gserviceaccount.com",
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default",
  "templateMetadata": {
    "version": "sha256:7366b784205551ed28f2c076e841c0dbeec4111b6df16743fc5605daa2da8f8a"
  }
}

Vertex AI SDK untuk Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya tentang Python API, lihat Vertex AI SDK untuk Python API.

Untuk mengetahui informasi selengkapnya tentang parameter pipeline, lihat Dokumentasi Referensi Komponen Pipeline Google Cloud.

Sebelum menggunakan data permintaan apa pun, buat pergantian berikut:

• PIPELINEJOB_DISPLAYNAME : Nama tampilan untuk pipelineJob.
• PROJECT_ID : Project Google Cloud yang menjalankan komponen pipeline.
• LOCATION : Wilayah untuk menjalankan komponen pipeline. us-central1 didukung.
• OUTPUT_DIR : URI Cloud Storage untuk menyimpan output evaluasi.
• EVALUATION_DATASET : Tabel BigQuery atau daftar jalur Cloud Storage yang dipisahkan koma ke set data JSONL yang berisi contoh evaluasi.
• TASK : Tugas evaluasi, yang dapat berupa salah satu dari [summarization, question_answering].
• ID_COLUMNS : Kolom yang membedakan contoh evaluasi unik.
• AUTORATER_PROMPT_PARAMETERS : Parameter perintah Autorater dipetakan ke kolom atau template. Parameter yang diharapkan adalah: inference_instruction (detail tentang cara menjalankan tugas) dan inference_context (konten yang akan dirujuk untuk melakukan tugas). Sebagai contoh, {'inference_context': {'column': 'my_prompt'}} menggunakan kolom `my_prompt` set data evaluasi untuk konteks autorater.
• RESPONSE_COLUMN_A : Nama kolom dalam set data evaluasi yang berisi prediksi yang telah ditentukan, atau nama kolom dalam output Model A yang berisi prediksi. Jika tidak ada nilai yang diberikan, nama kolom output model yang benar akan mencoba disimpulkan.
• RESPONSE_COLUMN_B : Nama kolom dalam set data evaluasi yang berisi prediksi yang telah ditentukan, atau nama kolom dalam output Model B yang berisi prediksi. Jika tidak ada nilai yang diberikan, nama kolom output model yang benar akan mencoba disimpulkan.
• MODEL_A (Opsional): Nama resource model (projects/{project}/locations/{location}/models/{model}@{version}) yang sepenuhnya memenuhi syarat atau nama resource model penayang (publishers/{publisher}/models/{model}). Jika respons Model A ditentukan, parameter ini tidak boleh diberikan.
• MODEL_B (Opsional): Nama resource model (projects/{project}/locations/{location}/models/{model}@{version}) yang sepenuhnya memenuhi syarat atau nama resource model penayang (publishers/{publisher}/models/{model}). Jika respons Model B ditentukan, parameter ini tidak boleh diberikan.
• MODEL_A_PROMPT_PARAMETERS (Opsional): Parameter template perintah Model A dipetakan ke kolom atau template. Jika respons Model A telah ditetapkan sebelumnya, parameter ini tidak boleh diberikan. Contoh: {'prompt': {'column': 'my_prompt'}} menggunakan kolom my_prompt set data evaluasi untuk parameter perintah bernama prompt.
• MODEL_B_PROMPT_PARAMETERS (Opsional): Parameter template perintah Model B dipetakan ke kolom atau template. Jika respons Model B telah ditetapkan sebelumnya, parameter ini tidak boleh diberikan. Contoh: {'prompt': {'column': 'my_prompt'}} menggunakan kolom my_prompt set data evaluasi untuk parameter perintah bernama prompt.

import os
from google.cloud import aiplatform
parameters = {
    'evaluation_dataset': 'EVALUATION_DATASET',
    'id_columns': ['ID_COLUMNS'],
    'task': 'TASK',
    'autorater_prompt_parameters': AUTORATER_PROMPT_PARAMETERS,
    'response_column_a': 'RESPONSE_COLUMN_A',
    'response_column_b': 'RESPONSE_COLUMN_B',
    'model_a': 'MODEL_A',
    'model_a_prompt_parameters': MODEL_A_PROMPT_PARAMETERS,
    'model_b': 'MODEL_B',
    'model_b_prompt_parameters': MODEL_B_PROMPT_PARAMETERS,
}
aiplatform.init(project='PROJECT_ID', location='LOCATION', staging_bucket='gs://OUTPUT_DIR')
aiplatform.PipelineJob(
    display_name='PIPELINEJOB_DISPLAYNAME',
    pipeline_root=os.path.join('gs://OUTPUT_DIR', 'PIPELINEJOB_DISPLAYNAME'),
    template_path=(
      'https://us-kfp.pkg.dev/ml-pipeline/google-cloud-registry/autosxs-template/default'),
    parameter_values=parameters,
).run()

Konsol

Untuk membuat tugas evaluasi model berpasangan menggunakan Konsol Google Cloud, lakukan langkah-langkah berikut:

1. Mulailah dengan model dasar Google, atau gunakan model yang sudah ada di Registry Model Vertex AI Anda:

   • Untuk mengevaluasi model dasar Google:

     1. Buka Vertex AI Model Garden dan pilih model yang mendukung evaluasi berpasangan, seperti text-bison.

        Buka Model Garden

     2. Klik Evaluasi.

     3. Di jendela pop-up yang muncul, klik Pilih untuk memilih versi model.

     4. Panel Save model mungkin meminta Anda untuk menyimpan salinan model di Vertex AI Model Registry jika Anda belum memiliki salinannya. Masukkan Nama model dan klik Simpan.

     5. Halaman Create Evaluation akan muncul. Untuk langkah Evaluate Method, pilih Evaluate this model against another model.

     6. Klik Continue.

   • Untuk mengevaluasi model yang ada di Vertex AI Model Registry:

     1. Buka halaman Vertex AI Model Registry:

        Buka Vertex AI Model Registry

     2. Klik nama model yang ingin Anda evaluasi. Pastikan jenis model memiliki dukungan evaluasi berpasangan. Contohnya, text-bison.

     3. Di tab Evaluasi, klik SxS.

     4. Klik Create SxS Evaluation.

2. Untuk setiap langkah di halaman pembuatan evaluasi, masukkan informasi yang diperlukan lalu klik Continue:

   1. Untuk langkah Evaluasi set data, pilih tujuan evaluasi dan model untuk dibandingkan dengan model yang Anda pilih. Pilih set data evaluasi dan masukkan kolom id (kolom respons).

   2. Untuk langkah Setelan model, tentukan apakah Anda ingin menggunakan respons model yang sudah ada dalam set data, atau apakah Anda ingin menggunakan Vertex AI Batch Prediction untuk menghasilkan respons. Tentukan kolom respons untuk kedua model. Untuk opsi Vertex AI Batch Prediction, Anda dapat menentukan parameter prompt model inferensi.

   3. Untuk langkah Setelan Autorater, masukkan parameter prompt autorater dan lokasi output untuk evaluasi.

3. Klik Mulai Evaluasi.

Membandingkan model

Evaluasi model pihak pertama (1p) yang telah disesuaikan terhadap model 1p referensi.

Anda dapat menentukan bahwa inferensi berjalan di kedua model secara bersamaan.

Contoh kode ini mengevaluasi model yang telah di-tuning dari Vertex Model Registry terhadap model referensi dari registry yang sama.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
    'model_a': 'publishers/google/models/text-bison@001',
    'model_a_prompt_parameters': {QUESTION: {'template': '{{my_question}}\nCONTEXT: {{my_context}}'}},
  'response_column_a': 'content',
    'model_b': 'projects/abc/locations/abc/models/tuned_bison',
    'model_b_prompt_parameters': {'prompt': {'template': '{{my_context}}\n{{my_question}}'}},
  'response_column_b': 'content',
}

Membandingkan prediksi

Mengevaluasi model pihak ketiga (3p) yang telah disesuaikan terhadap model 3p referensi.

Anda dapat melewati inferensi dengan langsung menyediakan respons model.

Contoh kode ini mengevaluasi model 3p yang disesuaikan terhadap model 3p referensi.

# Evaluation dataset schema:
#   my_question: str
#   my_context: str
#   response_b: str

parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters':
        'inference_instruction': {'column': 'my_question'},
        'inference_context': {'column': 'my_context'},
    },
    'response_column_a': 'content',
    'response_column_b': 'response_b',
}

Periksa keselarasan

Semua tugas yang didukung telah diukur menggunakan data pelabel manusia untuk memastikan bahwa respons autorater selaras dengan preferensi manusia. Jika Anda ingin menjalankan benchmark AutoSxS untuk kasus penggunaan Anda, berikan data preferensi manusia langsung ke AutoSxS, yang menghasilkan statistik gabungan penyesuaian.

Untuk memeriksa penyelarasan dengan set data preferensi manusia, Anda dapat menentukan kedua output (hasil prediksi) ke autorater. Anda juga dapat memberikan hasil inferensi.

Contoh kode ini memverifikasi bahwa hasil dan penjelasan autorater sesuai dengan harapan Anda.

# Evaluation dataset schema:
#  my_question: str
#  my_context: str
#   response_a: str
#   response_b: str
#   actual: str
parameters = {
    'evaluation_dataset': DATASET,
    'id_columns': ['my_context'],
    'task': 'question_answering',
    'autorater_prompt_parameters': {
      'inference_instruction': {'column': 'my_question'},
      'inference_context': {'column': 'my_context'},
  },
  'response_column_a': 'response_a',
  'response_column_b': 'response_b',
  'human_preference_column': 'actual',
}