Menyesuaikan model menggunakan data Anda

Konsol

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik more_vert View actions > Create dataset.

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk ID Set Data, ketik nama untuk set data.

   • Untuk Location type, pilih lokasi untuk set data.

   • Klik Create dataset.

bq

1. Untuk membuat set data baru, gunakan perintah bq mk dengan flag --location:

   bq --location=LOCATION mk -d DATASET_ID

   Ganti kode berikut:

   • LOCATION: lokasi set data.
   • DATASET_ID: ID set data yang Anda buat.

2. Pastikan set data telah dibuat:

   bq ls

Konsol

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel Penjelajah, klik add Tambahkan data:

   

   Dialog Tambahkan data akan terbuka.

3. Di panel Filter Menurut, di bagian Jenis Sumber Data, pilih Aplikasi Bisnis.

   Atau, di kolom Telusuri sumber data, Anda dapat memasukkan Vertex AI.

4. Di bagian Sumber data unggulan, klik Vertex AI.

5. Klik kartu solusi Vertex AI Models: BigQuery Federation.

6. Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

7. Di kolom Connection ID, masukkan nama untuk koneksi Anda.

8. Klik Create connection.

9. Klik Go to connection.

10. Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.

bq

1. Di lingkungan command line, buat koneksi:

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID

   Parameter --project_id akan mengganti project default.

   Ganti kode berikut:

   • REGION: region koneksi Anda
   • PROJECT_ID: Google Cloud project ID Anda
   • CONNECTION_ID: ID untuk koneksi Anda

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan pada langkah berikutnya:

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID

   Outputnya mirip dengan hal berikut ini:

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
   

Terraform

Gunakan resource google_bigquery_connection.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

Contoh berikut membuat koneksi resource Cloud bernama my_cloud_resource_connection di region US:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Untuk menerapkan konfigurasi Terraform di project Google Cloud , selesaikan langkah-langkah di bagian berikut.

Menyiapkan Cloud Shell

1. Luncurkan Cloud Shell.

2. Tetapkan project default Google Cloud tempat Anda ingin menerapkan konfigurasi Terraform.

   Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.

Menyiapkan direktori

Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).

1. Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki ekstensi .tf—misalnya main.tf. Dalam tutorial ini, file ini disebut sebagai main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.

   Salin kode contoh ke dalam main.tf yang baru dibuat.

   Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.

3. Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
4. Simpan perubahan Anda.
5. Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.

   terraform init

   Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi -upgrade:

   terraform init -upgrade

Menerapkan perubahan

1. Tinjau konfigurasi dan pastikan resource yang akan dibuat atau diupdate oleh Terraform sesuai yang Anda inginkan:

   terraform plan

   Koreksi konfigurasi jika diperlukan.

2. Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan yes pada prompt:

   terraform apply

   Tunggu hingga Terraform menampilkan pesan "Apply complete!".

3. Buka Google Cloud project Anda untuk melihat hasilnya. Di konsol Google Cloud , buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.

Konsol

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik person_add Berikan Akses.

3. Untuk New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

4. Klik Pilih peran.

5. Di Filter, ketik Vertex AI Service Agent, lalu pilih peran tersebut.

6. Klik Simpan.

gcloud

Gunakan perintah gcloud projects add-iam-policy-binding:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.serviceAgent' --condition=None

Ganti kode berikut:

• PROJECT_NUMBER: nomor project Anda.
• MEMBER: ID akun layanan yang Anda salin sebelumnya.

Kolom prompt

Buat teks dengan menggunakan kolom tabel untuk menyediakan prompt.

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

Ganti kode berikut:

• PROJECT_ID: project ID Anda.
• DATASET_ID: ID set data yang berisi model.
• MODEL_NAME: nama model.
• TABLE_NAME: nama tabel yang berisi prompt. Tabel ini harus memiliki kolom yang namanya cocok dengan nama kolom fitur dalam model yang di-tuning. Nama kolom fitur dalam model dapat ditetapkan menggunakan opsi PROMPT_COL saat membuat model. Jika tidak, nama kolom fitur dalam model adalah prompt secara default, atau Anda dapat menggunakan alias untuk menggunakan kolom dengan nama yang berbeda.
• TOKENS: nilai INT64 yang menetapkan jumlah maksimum token yang dapat dibuat dalam respons. Nilai ini harus dalam rentang [1,8192]. Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang lebih panjang. Defaultnya adalah 128.
• TEMPERATURE: nilai FLOAT64 dalam rentang [0.0,1.0] yang mengontrol tingkat keacakan dalam pemilihan token. Defaultnya adalah 0.

  Nilai yang lebih rendah untuk temperature cocok untuk prompt yang memerlukan respons yang lebih deterministik dan kurang terbuka atau kreatif, sedangkan nilai yang lebih tinggi untuk temperature dapat memberikan hasil yang lebih beragam atau kreatif. Nilai 0 untuk temperature bersifat deterministik, yang berarti bahwa respons probabilitas tertinggi selalu dipilih.

• TOP_P: nilai FLOAT64 dalam rentang [0.0,1.0] membantu menentukan probabilitas token yang dipilih. Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak. Defaultnya adalah 0.95.
• FLATTEN_JSON: nilai BOOL yang menentukan apakah akan menampilkan teks yang dihasilkan dan atribut keamanan di kolom terpisah. Defaultnya adalah FALSE.
• STOP_SEQUENCES: nilai ARRAY<STRING> yang menghapus string tertentu jika disertakan dalam respons dari model. String dicocokkan persis, termasuk kapitalisasi. Defaultnya adalah array kosong.
• GROUND_WITH_GOOGLE_SEARCH: nilai BOOL yang menentukan apakah model Vertex AI menggunakan Perujukan dengan Google Penelusuran saat membuat respons. Dengan perujukan, model dapat menggunakan informasi tambahan dari internet saat membuat respons, sehingga respons model menjadi lebih spesifik dan faktual. Jika flatten_json_output dan kolom ini disetel ke True, kolom ml_generate_text_grounding_result tambahan akan disertakan dalam hasil, yang memberikan sumber yang digunakan model untuk mengumpulkan informasi tambahan. Defaultnya adalah FALSE.
• SAFETY_SETTINGS: nilai ARRAY<STRUCT<STRING AS category, STRING AS threshold>> yang mengonfigurasi nilai minimum keamanan konten untuk memfilter respons. Elemen pertama dalam struct menentukan kategori bahaya, dan elemen kedua dalam struct menentukan nilai minimum pemblokiran yang sesuai. Model akan memfilter konten yang melanggar setelan ini. Anda hanya dapat menentukan setiap kategori satu kali. Misalnya, Anda tidak dapat menentukan STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) dan STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold). Jika tidak ada setelan keamanan untuk kategori tertentu, setelan keamanan BLOCK_MEDIUM_AND_ABOVE akan digunakan.

  Kategori yang didukung adalah sebagai berikut:

  • HARM_CATEGORY_HATE_SPEECH
  • HARM_CATEGORY_DANGEROUS_CONTENT
  • HARM_CATEGORY_HARASSMENT
  • HARM_CATEGORY_SEXUALLY_EXPLICIT

  Nilai minimum yang didukung adalah sebagai berikut:

  • BLOCK_NONE (Dibatasi)
  • BLOCK_LOW_AND_ABOVE
  • BLOCK_MEDIUM_AND_ABOVE (Default)
  • BLOCK_ONLY_HIGH
  • HARM_BLOCK_THRESHOLD_UNSPECIFIED

  Untuk mengetahui informasi selengkapnya, lihat definisi kategori keamanan dan batas pemblokiran.

• REQUEST_TYPE: nilai STRING yang menentukan jenis permintaan inferensi yang akan dikirim ke model Gemini. Jenis permintaan menentukan kuota yang digunakan permintaan. Nilai yang valid adalah sebagai berikut:
  • DEDICATED: Fungsi ML.GENERATE_TEXT hanya menggunakan kuota Throughput yang Disediakan. Fungsi ML.GENERATE_TEXT menampilkan error Provisioned throughput is not purchased or is not active jika kuota Throughput yang Disediakan tidak tersedia.
  • SHARED: Fungsi ML.GENERATE_TEXT hanya menggunakan kuota bersama dinamis (DSQ), meskipun Anda telah membeli kuota Throughput yang Disediakan.
  • UNSPECIFIED: Fungsi ML.GENERATE_TEXT menggunakan kuota sebagai berikut:
    • Jika Anda belum membeli kuota Throughput yang Disediakan, fungsi ML.GENERATE_TEXT menggunakan kuota DSQ.
    • Jika Anda telah membeli kuota Throughput yang Disediakan, fungsi ML.GENERATE_TEXT akan menggunakan kuota Throughput yang Disediakan terlebih dahulu. Jika permintaan melebihi kuota Throughput yang Disediakan, traffic overflow menggunakan kuota DSQ.

  Nilai defaultnya adalah UNSPECIFIED.

  Untuk mengetahui informasi selengkapnya, lihat Menggunakan Throughput yang Disediakan Vertex AI.

  Contoh berikut menunjukkan permintaan dengan karakteristik ini:

  • Menggunakan kolom prompt dari tabel prompts untuk prompt.
  • Menampilkan respons singkat dan kemungkinannya sedang.
  • Menampilkan teks yang dihasilkan dan atribut keamanan dalam kolom terpisah.

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mymodel`,
      TABLE mydataset.prompts,
      STRUCT(
        0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
        TRUE AS flatten_json_output));

Kueri prompt

Buat teks dengan menggunakan kueri untuk menyediakan prompt.

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  (PROMPT_QUERY),
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

Ganti kode berikut:

• PROJECT_ID: project ID Anda.
• DATASET_ID: ID set data yang berisi model.
• MODEL_NAME: nama model.
• PROMPT_QUERY: kueri yang menyediakan data prompt.
• TOKENS: nilai INT64 yang menetapkan jumlah maksimum token yang dapat dibuat dalam respons. Nilai ini harus dalam rentang [1,8192]. Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang lebih panjang. Defaultnya adalah 128.
• TEMPERATURE: nilai FLOAT64 dalam rentang [0.0,1.0] yang mengontrol tingkat keacakan dalam pemilihan token. Defaultnya adalah 0.

  Nilai yang lebih rendah untuk temperature cocok untuk prompt yang memerlukan respons yang lebih deterministik dan kurang terbuka atau kreatif, sedangkan nilai yang lebih tinggi untuk temperature dapat memberikan hasil yang lebih beragam atau kreatif. Nilai 0 untuk temperature bersifat deterministik, yang berarti bahwa respons probabilitas tertinggi selalu dipilih.

• TOP_P: nilai FLOAT64 dalam rentang [0.0,1.0] membantu menentukan probabilitas token yang dipilih. Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak. Defaultnya adalah 0.95.
• FLATTEN_JSON: nilai BOOL yang menentukan apakah akan menampilkan teks yang dihasilkan dan atribut keamanan di kolom terpisah. Defaultnya adalah FALSE.
• STOP_SEQUENCES: nilai ARRAY<STRING> yang menghapus string tertentu jika disertakan dalam respons dari model. String dicocokkan persis, termasuk kapitalisasi. Defaultnya adalah array kosong.
• GROUND_WITH_GOOGLE_SEARCH: nilai BOOL yang menentukan apakah model Vertex AI menggunakan Perujukan dengan Google Penelusuran saat membuat respons. Dengan perujukan, model dapat menggunakan informasi tambahan dari internet saat membuat respons, sehingga respons model menjadi lebih spesifik dan faktual. Jika flatten_json_output dan kolom ini disetel ke True, kolom ml_generate_text_grounding_result tambahan akan disertakan dalam hasil, yang memberikan sumber yang digunakan model untuk mengumpulkan informasi tambahan. Defaultnya adalah FALSE.
• SAFETY_SETTINGS: nilai ARRAY<STRUCT<STRING AS category, STRING AS threshold>> yang mengonfigurasi nilai minimum keamanan konten untuk memfilter respons. Elemen pertama dalam struct menentukan kategori bahaya, dan elemen kedua dalam struct menentukan nilai minimum pemblokiran yang sesuai. Model akan memfilter konten yang melanggar setelan ini. Anda hanya dapat menentukan setiap kategori satu kali. Misalnya, Anda tidak dapat menentukan STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) dan STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold). Jika tidak ada setelan keamanan untuk kategori tertentu, setelan keamanan BLOCK_MEDIUM_AND_ABOVE akan digunakan.

  Kategori yang didukung adalah sebagai berikut:

  • HARM_CATEGORY_HATE_SPEECH
  • HARM_CATEGORY_DANGEROUS_CONTENT
  • HARM_CATEGORY_HARASSMENT
  • HARM_CATEGORY_SEXUALLY_EXPLICIT

  Nilai minimum yang didukung adalah sebagai berikut:

  • BLOCK_NONE (Dibatasi)
  • BLOCK_LOW_AND_ABOVE
  • BLOCK_MEDIUM_AND_ABOVE (Default)
  • BLOCK_ONLY_HIGH
  • HARM_BLOCK_THRESHOLD_UNSPECIFIED

  Untuk mengetahui informasi selengkapnya, lihat definisi kategori keamanan dan batas pemblokiran.

• REQUEST_TYPE: nilai STRING yang menentukan jenis permintaan inferensi yang akan dikirim ke model Gemini. Jenis permintaan menentukan kuota yang digunakan permintaan. Nilai yang valid adalah sebagai berikut:
  • DEDICATED: Fungsi ML.GENERATE_TEXT hanya menggunakan kuota Throughput yang Disediakan. Fungsi ML.GENERATE_TEXT menampilkan error Provisioned throughput is not purchased or is not active jika kuota Throughput yang Disediakan tidak tersedia.
  • SHARED: Fungsi ML.GENERATE_TEXT hanya menggunakan kuota bersama dinamis (DSQ), meskipun Anda telah membeli kuota Throughput yang Disediakan.
  • UNSPECIFIED: Fungsi ML.GENERATE_TEXT menggunakan kuota sebagai berikut:
    • Jika Anda belum membeli kuota Throughput yang Disediakan, fungsi ML.GENERATE_TEXT menggunakan kuota DSQ.
    • Jika Anda telah membeli kuota Throughput yang Disediakan, fungsi ML.GENERATE_TEXT akan menggunakan kuota Throughput yang Disediakan terlebih dahulu. Jika permintaan melebihi kuota Throughput yang Disediakan, traffic overflow menggunakan kuota DSQ.

  Nilai defaultnya adalah UNSPECIFIED.

  Untuk mengetahui informasi selengkapnya, lihat Menggunakan Throughput yang Disediakan Vertex AI.

  Contoh 1

  Contoh berikut menunjukkan permintaan dengan karakteristik ini:

  • Meminta ringkasan teks di kolom body pada tabel articles.
  • Menampilkan respons yang cukup panjang dan kemungkinannya lebih besar.
  • Menampilkan teks yang dihasilkan dan atribut keamanan dalam kolom terpisah.

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mymodel`,
      (
        SELECT CONCAT('Summarize this text', body) AS prompt
        FROM mydataset.articles
      ),
      STRUCT(
        0.2 AS temperature, 650 AS max_output_tokens, 0.2 AS top_p,
        TRUE AS flatten_json_output));

  Contoh 2

  Contoh berikut menunjukkan permintaan dengan karakteristik ini:

  • Menggunakan kueri untuk membuat data prompt dengan menyambungkan string yang memberikan awalan prompt dengan kolom tabel.
  • Menampilkan respons singkat dan kemungkinannya sedang.
  • Tidak menampilkan teks yang dihasilkan dan atribut keamanan dalam kolom terpisah.

  SELECT *
  FROM
    ML.GENERATE_TEXT(
      MODEL `mydataset.mytuned_model`,
      (
        SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
        FROM mydataset.input_table
      ),
      STRUCT(
        0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
        FALSE AS flatten_json_output));