Menjalankan pipeline evaluasi berbasis komputasi

REST

Untuk membuat tugas evaluasi model, kirim permintaan POST menggunakan metode pipelineJobs.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: Project Google Cloud yang menjalankan komponen pipeline.
• PIPELINEJOB_DISPLAYNAME: Nama tampilan untuk pipelineJob.
• LOCATION: Region untuk menjalankan komponen pipeline. Saat ini, hanya us-central1 yang didukung.
• DATASET_URI: Cloud Storage URI dari set data referensi Anda. Anda dapat menentukan satu atau beberapa URI. Parameter ini mendukung karakter pengganti. Untuk mempelajari parameter ini lebih lanjut, lihat InputConfig.
• OUTPUT_DIR: URI Cloud Storage untuk menyimpan output evaluasi.
• MODEL_NAME: Tentukan model penayang atau resource model yang disesuaikan seperti berikut:
  • Model penayang: publishers/google/models/MODEL@MODEL_VERSION

    Contoh: publishers/google/models/text-bison@002

  • Model yang disesuaikan: projects/PROJECT_NUMBER/locations/LOCATION/models/ENDPOINT_ID

    Contoh: projects/123456789012/locations/us-central1/models/1234567890123456789

  Tugas evaluasi tidak memengaruhi deployment model atau resource yang ada.

• EVALUATION_TASK: Tugas yang ingin Anda gunakan untuk mengevaluasi model. Tugas evaluasi mengomputasi kumpulan metrik yang relevan dengan tugas spesifik tersebut. Nilai yang dapat diterima mencakup hal berikut:
  • summarization
  • question-answering
  • text-generation
  • classification
• INSTANCES_FORMAT: Format set data Anda. Saat ini, hanya jsonl yang didukung. Untuk mempelajari parameter ini lebih lanjut, lihat InputConfig.
• PREDICTIONS_FORMAT: Format output evaluasi. Saat ini, hanya jsonl yang didukung. Untuk mempelajari parameter ini lebih lanjut, lihat InputConfig.
• MACHINE_TYPE: (Opsional) Jenis mesin untuk menjalankan tugas evaluasi. Nilai defaultnya adalah e2-highmem-16. Untuk mengetahui daftar jenis mesin yang didukung, lihat Jenis mesin.
• SERVICE_ACCOUNT: (Opsional) Akun layanan yang akan digunakan untuk menjalankan tugas evaluasi. Untuk mempelajari cara membuat akun layanan kustom, lihat Mengonfigurasi akun layanan dengan izin terperinci. Jika tidak ditentukan, Agen Layanan Kode Kustom Vertex AI akan digunakan.
• NETWORK: (Opsional) Nama jaringan Compute Engine yang sepenuhnya memenuhi syarat untuk di-peering dengan tugas evaluasi. Format nama jaringannya adalah projects/PROJECT_NUMBER/global/networks/NETWORK_NAME. Jika menentukan kolom ini, Anda harus memiliki Peering Jaringan VPC untuk Vertex AI. Jika tidak ditentukan, tugas evaluasi tidak di-peering dengan jaringan apa pun.
• KEY_NAME: (Opsional) Nama kunci enkripsi yang dikelola pelanggan (CMEK). Jika dikonfigurasi, resource yang dibuat oleh tugas evaluasi akan dienkripsi menggunakan kunci enkripsi yang disediakan. Format nama kunci adalah projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING/cryptoKeys/KEY. Kunci tersebut harus berada di region yang sama dengan tugas evaluasi.

Metode HTTP dan URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs

Isi JSON permintaan:

{
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "location": "LOCATION",
      "batch_predict_gcs_source_uris": ["gs://DATASET_URI"],
      "batch_predict_gcs_destination_output_uri": "gs://OUTPUT_DIR",
      "model_name": "MODEL_NAME",
      "evaluation_task": "EVALUATION_TASK",
      "batch_predict_instances_format": "INSTANCES_FORMAT",
      "batch_predict_predictions_format: "PREDICTIONS_FORMAT",
      "machine_type": "MACHINE_TYPE",
      "service_account": "SERVICE_ACCOUNT",
      "network": "NETWORK",
      "encryption_spec_key_name": "KEY_NAME"
    }
  },
  "templateUri": "https://us-kfp.pkg.dev/vertex-evaluation/pipeline-templates/evaluation-llm-text-generation-pipeline/1.0.1"
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs" | Select-Object -Expand Content

Anda akan menerima respons JSON yang mirip dengan yang berikut ini: Perhatikan bahwa pipelineSpec telah dipotong untuk menghemat ruang penyimpanan.

......
.....
 "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "1234567890123456789"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://my-evaluation-bucket/output",
    "parameterValues": {
      "project": "my-project",
      "location": "us-central1",
      "batch_predict_gcs_source_uris": [
        "gs://my-evaluation-bucket/reference-datasets/eval_data.jsonl"
      ],
      "batch_predict_gcs_destination_output_uri": "gs://my-evaluation-bucket/output",
      "model_name": "publishers/google/models/text-bison@002"
    }
  },
  "serviceAccount": "123456789012-compute@developer.gserviceaccount.com",
  "templateUri": "https://us-kfp.pkg.dev/vertex-evaluation/pipeline-templates/evaluation-llm-text-generation-pipeline/1.0.1",
  "templateMetadata": {
    "version": "sha256:d4c0d665533f6b360eb474111aa5e00f000fb8eac298d367e831f3520b21cb1a"
  }
}

Contoh perintah curl

PROJECT_ID=myproject
REGION=us-central1
MODEL_NAME=publishers/google/models/text-bison@002
TEST_DATASET_URI=gs://my-gcs-bucket-uri/dataset.jsonl
OUTPUT_DIR=gs://my-gcs-bucket-uri/output

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://${REGION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${REGION}/pipelineJobs" -d \
$'{
  "displayName": "evaluation-llm-text-generation-pipeline",
  "runtimeConfig": {
    "gcsOutputDirectory": "'${OUTPUT_DIR}'",
    "parameterValues": {
      "project": "'${PROJECT_ID}'",
      "location": "'${REGION}'",
      "batch_predict_gcs_source_uris": ["'${TEST_DATASET_URI}'"],
      "batch_predict_gcs_destination_output_uri": "'${OUTPUT_DIR}'",
      "model_name": "'${MODEL_NAME}'",
    }
  },
  "templateUri": "https://us-kfp.pkg.dev/vertex-evaluation/pipeline-templates/evaluation-llm-text-generation-pipeline/1.0.1"
}'

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Python.

import os

from google.auth import default

import vertexai
from vertexai.preview.language_models import (
    EvaluationTextClassificationSpec,
    TextGenerationModel,
)

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def evaluate_model() -> object:
    """Evaluate the performance of a generative AI model."""

    # Set credentials for the pipeline components used in the evaluation task
    credentials, _ = default(scopes=["https://www.googleapis.com/auth/cloud-platform"])

    vertexai.init(project=PROJECT_ID, location="us-central1", credentials=credentials)

    # Create a reference to a generative AI model
    model = TextGenerationModel.from_pretrained("text-bison@002")

    # Define the evaluation specification for a text classification task
    task_spec = EvaluationTextClassificationSpec(
        ground_truth_data=[
            "gs://cloud-samples-data/ai-platform/generative_ai/llm_classification_bp_input_prompts_with_ground_truth.jsonl"
        ],
        class_names=["nature", "news", "sports", "health", "startups"],
        target_column_name="ground_truth",
    )

    # Evaluate the model
    eval_metrics = model.evaluate(task_spec=task_spec)
    print(eval_metrics)
    # Example response:
    # ...
    # PipelineJob run completed.
    # Resource name: projects/123456789/locations/us-central1/pipelineJobs/evaluation-llm-classification-...
    # EvaluationClassificationMetric(label_name=None, auPrc=0.53833705, auRoc=0.8...

    return eval_metrics

Konsol

Untuk membuat tugas evaluasi model menggunakan konsol Google Cloud , ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Vertex AI Model Registry.

   Buka Vertex AI Model Registry

2. Klik nama model yang ingin dievaluasi.
3. Di tab Evaluate, klik Create evaluation dan konfigurasikan setelan berikut:
   • Tujuan: Pilih tugas yang ingin dievaluasi.
   • Kolom atau bidang target: (Khusus klasifikasi) Masukkan kolom target untuk prediksi. Contoh: ground_truth.
   • Source path: Masukkan atau pilih URI set data evaluasi Anda.
   • Format output: Masukkan format output evaluasi. Saat ini, hanya jsonl yang didukung.
   • Jalur Cloud Storage: Masukkan atau pilih URI untuk menyimpan output evaluasi.
   • Nama class: (Khusus klasifikasi) Masukkan daftar kemungkinan nama class.
   • Jumlah node komputasi: Masukkan jumlah node komputasi untuk menjalankan tugas evaluasi.
   • Jenis mesin: Pilih jenis mesin yang akan digunakan untuk menjalankan tugas evaluasi.
4. Klik Start evaluation.