Ringkasan integrasi Vertex AI Spanner

Halaman ini memberikan ringkasan integrasi Vertex AI Spanner. Integrasi Spanner Vertex AI berfungsi dengan database GoogleSQL dan PostgreSQL.

Integrasi Spanner Vertex AI membantu Anda mengakses model ML klasifikasi dan regresi yang dihosting di Vertex AI melalui antarmuka GoogleSQL dan PostgreSQL. Hal ini membantu mengintegrasikan fungsi penayangan prediksi ML dengan lancar dengan operasi akses data Spanner umum yang dilakukan menggunakan kueri DQL/DML.

Manfaat integrasi Vertex AI Spanner

Membuat prediksi ML menggunakan integrasi Vertex AI Spanner memberikan beberapa manfaat dibandingkan dengan pendekatan saat akses data Spanner dan akses ke endpoint prediksi Vertex AI dilakukan secara terpisah:

• Performa:
  • Latensi yang lebih baik: Integrasi Spanner Vertex AI yang berkomunikasi langsung dengan layanan Vertex AI menghilangkan perjalanan pulang pergi tambahan antara node komputasi yang menjalankan klien Spanner dan layanan Vertex AI.
  • Throughput/paralelisme yang lebih baik: Integrasi Vertex AI Spanner berjalan di atas infrastruktur pemrosesan kueri terdistribusi Spanner, yang mendukung eksekusi kueri yang sangat paralel.
• Pengalaman pengguna:
  • Kemampuan untuk menggunakan satu antarmuka SQL yang sederhana, koheren, dan familiar untuk memfasilitasi skenario penayangan ML dan transformasi data pada tingkat skala Spanner menurunkan hambatan masuk ML dan memungkinkan pengalaman pengguna yang jauh lebih lancar.
• Biaya:
  • Integrasi Spanner Vertex AI menggunakan kapasitas komputasi Spanner untuk menggabungkan hasil komputasi ML dan eksekusi kueri SQL, sehingga tidak perlu menyediakan komputasi tambahan (misalnya, di Compute Engine atau Google Kubernetes Engine) untuk hal tersebut.

Bagaimana cara kerja integrasi Vertex AI Spanner?

Integrasi Spanner Vertex AI tidak menghosting model ML, tetapi mengandalkan infrastruktur layanan Vertex AI. Anda tidak perlu melatih model menggunakan Vertex AI untuk menggunakannya dengan integrasi Spanner Vertex AI, tetapi Anda harus men-deploy-nya ke endpoint Vertex AI.

Untuk melatih model pada data yang disimpan di Spanner, Anda dapat menggunakan hal berikut:

• Kueri gabungan BigQuery bersama dengan BigQuery ML.

• Dataflow untuk mengekspor data dari Spanner ke dalam format CSV dan mengimpor sumber data CSV ke Vertex AI.

Integrasi Vertex AI Spanner memperluas fungsi berikut untuk menggunakan model ML:

• Buat prediksi ML dengan memanggil model menggunakan SQL pada data Spanner Anda. Anda dapat menggunakan model dari Vertex AI Model Garden atau model yang di-deploy ke endpoint Vertex AI.

• Buat embedding teks agar LLM menerjemahkan perintah teks menjadi angka. Untuk mempelajari embedding lebih lanjut, lihat Mendapatkan embedding teks.

Menggunakan fungsi integrasi Vertex AI Spanner

Model dalam integrasi Vertex AI Spanner dapat digunakan untuk membuat prediksi atau penyematan teks dalam kode SQL Anda menggunakan fungsi ML Predict. Fungsi ini adalah sebagai berikut:

Untuk menggunakan fungsi, Anda dapat memilih model dari Vertex AI Model Garden atau menggunakan model yang telah Anda deploy ke Vertex AI.

Untuk mengetahui informasi selengkapnya tentang cara men-deploy model ke endpoint di Vertex AI, lihat Men-deploy model ke endpoint.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat prediksi ML, lihat Membuat prediksi ML menggunakan SQL.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat embedding teks, lihat Mendapatkan embedding teks.

Harga

Tidak ada biaya tambahan dari Spanner saat Anda menggunakannya dengan integrasi Spanner Vertex AI. Namun, ada kemungkinan biaya lainnya yang terkait dengan fitur ini:

• Anda membayar tarif standar untuk prediksi online Vertex AI. Total biaya bergantung pada jenis model yang Anda gunakan. Beberapa jenis model memiliki tarif tetap per jam, bergantung pada jenis mesin dan jumlah node yang Anda gunakan. Beberapa jenis model memiliki tarif per panggilan. Sebaiknya Anda men-deploy model yang terakhir dalam project khusus tempat Anda telah menetapkan kuota prediksi eksplisit.

• Anda membayar tarif standar untuk transfer data antara Spanner dan Vertex AI. Total biaya bergantung pada region yang menghosting server yang mengeksekusi kueri dan region yang menghosting endpoint yang dipanggil. Untuk meminimalkan biaya, deploy endpoint Vertex AI Anda di region yang sama dengan instance Spanner Anda. Saat menggunakan konfigurasi instance multi-regional atau beberapa endpoint Vertex AI, deploy endpoint Anda di benua yang sama.

SLA

Karena ketersediaan prediksi online Vertex AI lebih rendah, Anda harus mengonfigurasi model ML Spanner dengan benar untuk mempertahankan ketersediaan tinggi Spanner saat menggunakan integrasi Vertex AI Spanner:

1. Model ML Spanner harus menggunakan beberapa endpoint Vertex AI di backend untuk mengaktifkan failover.
2. Endpoint Vertex AI harus mematuhi SLA Vertex AI.
3. Endpoint Vertex AI harus menyediakan kapasitas yang cukup untuk menangani traffic masuk.
4. Endpoint Vertex AI harus menggunakan region terpisah yang dekat dengan database Spanner untuk menghindari pemadaman layanan regional.
5. Endpoint Vertex AI harus menggunakan project terpisah untuk menghindari masalah dengan kuota prediksi per project.

Jumlah endpoint Vertex AI yang redundan bergantung pada SLA-nya, dan jumlah baris dalam kueri Spanner:

SLA Spanner	SLA Vertex AI	1 baris	10 baris	100 baris	1.000 baris
99,99%	99,9%	2	2	2	3
99,99%	99,5%	2	3	3	4
99,999%	99,9%	2	2	3	3
99,999%	99,5%	3	3	4	4

Endpoint Vertex AI tidak harus menghosting model yang sama persis. Sebaiknya konfigurasi model ML Spanner agar memiliki model utama, kompleks, dan intensif komputasi sebagai endpoint pertamanya. Endpoint failover berikutnya dapat mengarah ke model yang disederhanakan yang tidak terlalu intensif komputasinya, menskalakan dengan lebih baik, dan dapat menyerap lonjakan traffic.

Batasan

• Input dan output model harus berupa objek JSON.

Kepatuhan

Assured Workloads tidak mendukung Vertex AI Prediction API. Mengaktifkan batasan penggunaan resource yang membatasi akan menonaktifkan Vertex AI API dan secara efektif menonaktifkan fitur integrasi Spanner Vertex AI.

Selain itu, sebaiknya buat perimeter Kontrol Layanan VPC untuk memastikan database produksi Anda tidak dapat terhubung ke endpoint Vertex AI di project non-produksi yang mungkin tidak memiliki konfigurasi kepatuhan yang tepat.