Ringkasan AI generatif

Dokumen ini menjelaskan fitur kecerdasan buatan (AI) generatif yang didukung BigQuery ML. Fitur ini memungkinkan Anda melakukan tugas AI di BigQuery ML menggunakan model Vertex AI terlatih dan model BigQuery ML bawaan.

Tugas yang didukung meliputi:

Anda mengakses model Vertex AI untuk menjalankan salah satu fungsi ini dengan membuat model jarak jauh di BigQuery ML yang mewakili endpoint model Vertex AI. Setelah membuat model jarak jauh pada model Vertex AI yang ingin digunakan, Anda dapat mengakses kemampuan model tersebut dengan menjalankan fungsi BigQuery ML terhadap model jarak jauh.

Pendekatan ini memungkinkan Anda menggunakan kemampuan model Vertex AI ini dalam kueri SQL untuk menganalisis data BigQuery.

Alur kerja

Anda dapat menggunakan model jarak jauh melalui model Vertex AI dan model jarak jauh melalui layanan Cloud AI bersama dengan fungsi BigQuery ML untuk menyelesaikan analisis data yang kompleks dan tugas AI generatif.

Diagram berikut menunjukkan beberapa alur kerja umum tempat Anda dapat menggunakan kemampuan ini secara bersamaan:

Diagram yang menunjukkan alur kerja umum untuk model jarak jauh yang menggunakan model Vertex AI atau layanan Cloud AI.

Buat teks

Pembuatan teks adalah bentuk AI generatif yang menghasilkan teks berdasarkan perintah atau analisis data. Anda dapat melakukan pembuatan teks menggunakan data teks dan multimodal.

Beberapa kasus penggunaan umum untuk pembuatan teks adalah sebagai berikut:

  • Membuat konten materi iklan.
  • Membuat kode.
  • Membuat respons chat atau email.
  • Bertukar pikiran, seperti menyarankan cara untuk produk atau layanan mendatang.
  • Personalisasi konten, seperti saran produk.
  • Mengelompokkan data dengan menerapkan satu atau beberapa label ke konten untuk mengurutkannya ke dalam kategori.
  • Mengidentifikasi sentimen utama yang diungkapkan dalam konten.
  • Merangkum ide atau kesan utama yang disampaikan oleh konten.
  • Mengidentifikasi satu atau beberapa entitas yang penting dalam data teks atau visual.
  • Menerjemahkan konten teks atau data audio ke bahasa lain.
  • Membuat teks yang cocok dengan konten verbal dalam data audio.
  • Memberi teks atau melakukan Tanya Jawab tentang data visual.

Pengayaan data adalah langkah berikutnya yang umum setelah pembuatan teks, yaitu Anda memperkaya insight dari analisis awal dengan menggabungkannya dengan data tambahan. Misalnya, Anda dapat menganalisis gambar perlengkapan rumah untuk membuat teks untuk kolom design_type, sehingga SKU perlengkapan memiliki deskripsi terkait, seperti mid-century modern atau farmhouse.

Model yang didukung

Untuk melakukan tugas AI generatif, Anda dapat menggunakan model jarak jauh di BigQuery ML untuk mereferensikan ke model yang di-deploy ke atau dihosting di Vertex AI. Anda dapat membuat jenis model jarak jauh berikut:

Menggunakan model pembuatan teks

Setelah membuat model jarak jauh, Anda dapat menggunakan fungsi ML.GENERATE_TEXT untuk berinteraksi dengan model tersebut:

  • Untuk model jarak jauh berdasarkan model Gemini, Anda dapat melakukan hal berikut:

    • Gunakan fungsi ML.GENERATE_TEXT untuk membuat teks dari perintah yang Anda tentukan dalam kueri atau mengambil dari kolom dalam tabel standar. Saat menentukan perintah dalam kueri, Anda dapat mereferensikan jenis kolom tabel berikut dalam perintah:

    • Gunakan fungsi ML.GENERATE_TEXT untuk menganalisis konten teks, gambar, audio, video, atau PDF dari tabel objek dengan perintah yang Anda berikan sebagai argumen fungsi.

  • Untuk semua jenis model jarak jauh lainnya, Anda dapat menggunakan fungsi ML.GENERATE_TEXT dengan perintah yang Anda berikan dalam kueri atau dari kolom dalam tabel standar.

Gunakan topik berikut untuk mencoba pembuatan teks di BigQuery ML:

Atribut grounding dan keselamatan

Anda dapat menggunakan grounding dan atribut keamanan saat menggunakan model Gemini dengan fungsi ML.GENERATE_TEXT, asalkan Anda menggunakan tabel standar untuk input. Dengan grounding, model Gemini dapat menggunakan informasi tambahan dari internet untuk menghasilkan respons yang lebih spesifik dan faktual. Atribut keamanan memungkinkan model Gemini memfilter respons yang ditampilkannya berdasarkan atribut yang Anda tentukan.

Penyesuaian yang diawasi

Saat membuat model jarak jauh yang mereferensikan salah satu model berikut, Anda dapat memilih untuk mengonfigurasi penyesuaian terpantau secara bersamaan:

  • gemini-2.0-flash-001
  • gemini-2.0-flash-lite-001
  • gemini-1.5-pro-002
  • gemini-1.5-flash-002

Semua inferensi terjadi di Vertex AI. Hasilnya disimpan di BigQuery.

Throughput yang Disediakan Vertex AI

Untuk model Gemini yang didukung, Anda dapat menggunakan Throughput yang Disediakan Vertex AI dengan fungsi ML.GENERATE_TEXT untuk memberikan throughput tinggi yang konsisten untuk permintaan. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Throughput yang Disediakan Vertex AI.

Membuat data terstruktur

Pembuatan data terstruktur sangat mirip dengan pembuatan teks, kecuali Anda juga dapat memformat respons dari model dengan menentukan skema SQL.

Untuk membuat data terstruktur, buat model jarak jauh melalui salah satu model Gemini yang umumnya tersedia atau pratinjau. Kemudian, Anda dapat menggunakan fungsi AI.GENERATE_TABLE untuk berinteraksi dengan model tersebut. Untuk mencoba membuat data terstruktur, lihat Membuat data terstruktur menggunakan fungsi AI.GENERATE_TABLE.

Anda dapat menentukan atribut keamanan saat menggunakan model Gemini dengan fungsi AI.GENERATE_TABLE untuk memfilter respons model.

Membuat nilai jenis tertentu menurut baris

Anda dapat menggunakan fungsi AI generatif skalar dengan model Gemini untuk menganalisis data dalam tabel standar BigQuery. Data mencakup data teks dan data tidak terstruktur dari kolom yang berisi nilai ObjectRef. Untuk setiap baris dalam tabel, fungsi ini menghasilkan output yang berisi jenis tertentu.

Fungsi AI berikut tersedia:

Saat menggunakan fungsi AI.GENERATE dengan model Gemini yang didukung, Anda dapat menggunakan Throughput yang Disediakan Vertex AI untuk memberikan throughput tinggi yang konsisten untuk permintaan. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Throughput yang Disediakan Vertex AI.

Membuat embedding

Embedding adalah vektor numerik berdimensi tinggi yang mewakili entity tertentu, seperti potongan teks atau file audio. Membuat penyematan memungkinkan Anda menangkap semantik data dengan cara yang memudahkan untuk memahami dan membandingkan data.

Beberapa kasus penggunaan umum untuk pembuatan penyematan adalah sebagai berikut:

  • Menggunakan retrieval-augmented generation (RAG) untuk meningkatkan respons model terhadap kueri pengguna dengan mereferensikan data tambahan dari sumber tepercaya. RAG memberikan akurasi faktual dan konsistensi respons yang lebih baik, serta memberikan akses ke data yang lebih baru daripada data pelatihan model.
  • Melakukan penelusuran multimodal. Misalnya, menggunakan input teks untuk menelusuri gambar.
  • Melakukan penelusuran semantik untuk menemukan item serupa untuk rekomendasi, penggantian, dan penghapusan duplikat data.
  • Membuat embedding untuk digunakan dengan model k-means untuk pengelompokan.

Model yang didukung

Model berikut didukung:

  • Untuk membuat embedding teks, Anda dapat menggunakan model text-embedding dan text-multilingual-embedding Vertex AI.
  • Untuk membuat penyematan multimodal, yang dapat menyematkan teks, gambar, dan video ke dalam ruang semantik yang sama, Anda dapat menggunakan model multimodalembedding Vertex AI.
  • Untuk membuat penyematan data terstruktur variabel acak independen dan terdistribusi identik (IID), Anda dapat menggunakan model Analisis komponen utama (PCA) BigQuery ML atau model Autoencoder.
  • Untuk membuat penyematan data pengguna atau item, Anda dapat menggunakan model Faktorisasi matriks BigQuery ML.

Untuk penyematan teks yang lebih kecil dan ringan, coba gunakan model TensorFlow yang telah dilatih sebelumnya, seperti NNLM, SWIVEL, atau BERT.

Menggunakan model pembuatan penyematan

Setelah membuat model, Anda dapat menggunakan fungsi ML.GENERATE_EMBEDDING untuk berinteraksi dengannya. Untuk semua jenis model yang didukung, ML.GENERATE_EMBEDDING berfungsi dengan data terstruktur dalam tabel standar. Untuk model penyematan multimodal, ML.GENERATE_EMBEDDING juga berfungsi dengan konten visual dari kolom tabel standar yang berisi nilai ObjectRef, atau dari tabel objek.

Untuk model jarak jauh, semua inferensi terjadi di Vertex AI. Untuk jenis model lainnya, semua inferensi terjadi di BigQuery. Hasilnya disimpan di BigQuery.

Gunakan topik berikut untuk mencoba pembuatan teks di BigQuery ML:

Perkiraan

Perkiraan adalah teknik yang memungkinkan Anda menganalisis data deret waktu historis untuk membuat prediksi yang tepat tentang tren mendatang. Anda dapat menggunakan model deret waktu TimesFM bawaan BigQuery ML (Pratinjau) untuk melakukan perkiraan tanpa harus membuat model Anda sendiri. Model TimesFM bawaan berfungsi dengan fungsi AI.FORECAST untuk membuat perkiraan berdasarkan data Anda.

Lokasi

Lokasi yang didukung untuk model pembuatan teks dan penyematan bervariasi berdasarkan jenis dan versi model yang Anda gunakan. Untuk informasi selengkapnya, lihat Lokasi. Tidak seperti model AI generatif lainnya, dukungan lokasi tidak berlaku untuk model deret waktu TimesFM bawaan. Model TimesFM tersedia di semua region yang didukung BigQuery.

Harga

Anda akan ditagih untuk resource komputasi yang digunakan untuk menjalankan kueri terhadap model. Model jarak jauh melakukan panggilan ke model Vertex AI, sehingga kueri terhadap model jarak jauh juga dikenai biaya dari Vertex AI.

Untuk informasi selengkapnya, lihat Harga BigQuery ML.

Langkah berikutnya