Coba model Gemini 1.5, model multimodal terbaru di Vertex AI, dan lihat model yang dapat Anda bangun dengan jendela konteks hingga 2 juta token.Coba model Gemini 1.5, model multimodal terbaru di Vertex AI, dan lihat model yang dapat Anda bangun dengan jendela konteks hingga 2 juta token.
Prasyarat: Anda harus sudah mengetahui cara mengembangkan program menggunakan open source
Sinar.
Ray on Vertex AI SDK untuk Python yang digunakan di sini adalah versi Vertex AI SDK untuk Python
yang mencakup fungsionalitas Ray
Klien,
Konektor BigQuery Ray, Ray
pengelolaan cluster di Vertex AI, dan prediksi di Vertex AI.
Jika Anda menggunakan Ray di Vertex AI di Konsol Google Cloud,
Colab Enterprise
memandu Anda melakukan penginstalan Vertex AI SDK untuk Python
setelah Anda membuat gugus Ray.
Jika Anda menggunakan Ray di Vertex AI di Vertex AI Workbench atau lingkungan Python interaktif lainnya, instal Vertex AI SDK untuk Python:
# The latest image in the Ray cluster includes Ray 2.9
# The latest supported Python version is Python 3.10.
$ pip install google-cloud-aiplatform[ray]
Setelah Anda menginstal SDK, mulai ulang kernel sebelum Anda mengimpor paket.
(Opsional) Jika Anda berencana untuk membaca dari BigQuery, Anda perlu membuat
set data BigQuery baru atau menggunakan
{i>dataset<i} aslinya.
(Opsional) Untuk mengurangi risiko pemindahan data yang tidak sah dari
Vertex AI, Anda dapat mengaktifkan Kontrol Layanan VPC dan menentukan
jaringan VPC saat membuat cluster. Untuk selengkapnya
lihat Kontrol Layanan VPC dengan
Vertex AI.
Jika mengaktifkan Kontrol Layanan VPC, Anda tidak akan dapat menjangkau resource
di luar perimeter, seperti file dalam bucket Cloud Storage.
(Opsional) Untuk menggunakan image penampung kustom, hosting image tersebut di
Artifact Registry. Image kustom memungkinkan Anda menambahkan dependensi Python yang tidak disertakan dengan image container bawaan. Untuk membuat image kustom, lihat Mengemas software Anda di dokumentasi Docker.
(Opsional) Jika Anda menentukan jaringan VPC saat membuat cluster Ray di
Vertex AI, sebaiknya Anda memiliki satu jaringan VPC mode otomatis
dalam proyek Anda. Anda mungkin mengalami masalah jika menggunakan VPC mode kustom
atau menggunakan beberapa jaringan VPC untuk membuat cluster di project yang sama.
Mengamankan cluster Anda
Mengikuti praktik terbaik dan pedoman Ray, termasuk
menjalankan kode tepercaya pada jaringan tepercaya, untuk mengamankan beban kerja Ray Anda.
Deployment ray.io di instance cloud Anda termasuk dalam model
tanggung jawab bersama.
