Di konsol Google Cloud, Anda dapat membuat endpoint publik dan men-deploy model ke endpoint tersebut.
Model dapat di-deploy dari halaman Prediksi online atau halaman Model Registry.
Men-deploy model dari halaman Prediksi online
Di halaman Prediksi online, Anda dapat membuat endpoint dan men-deploy satu atau beberapa model ke endpoint tersebut sebagai berikut:
Di konsol Google Cloud, di bagian Vertex AI, buka halaman Online prediction.
Klik Create.
Di panel Endpoint baru:
Masukkan Nama endpoint.
Pilih Standar untuk jenis akses.
Untuk membuat endpoint publik khusus (tidak dibagikan), centang kotak Aktifkan DNS khusus.
Klik Lanjutkan.
Di panel Setelan model:
Pilih model Anda dari menu drop-down.
Pilih versi model dari menu drop-down.
Masukkan persentase Pemisahan traffic untuk model.
Klik Selesai.
Ulangi langkah-langkah ini untuk model tambahan yang akan di-deploy.
Men-deploy model dari halaman Model Registry
Di halaman Model Registry, Anda dapat men-deploy model ke satu atau beberapa endpoint baru atau yang sudah ada sebagai berikut:
Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Model.
Klik nama dan ID versi model yang ingin Anda deploy untuk membuka halaman detailnya.
Pilih tab Deploy & Uji.
Jika model Anda sudah di-deploy ke endpoint, model tersebut akan tercantum di bagian Deploy model Anda.
Klik Deploy to endpoint.
Untuk men-deploy model ke endpoint baru:
- Pilih Create new endpoint
- Berikan nama untuk endpoint baru.
- Untuk membuat endpoint publik khusus (tidak dibagikan), centang kotak Aktifkan DNS khusus.
- Klik Lanjutkan.
Untuk men-deploy model ke endpoint yang ada:
- Pilih Tambahkan ke endpoint yang ada.
- Pilih endpoint dari menu drop-down.
- Klik Lanjutkan.
Anda dapat men-deploy beberapa model ke satu endpoint, atau men-deploy model yang sama ke beberapa endpoint.
Jika Anda men-deploy model ke endpoint yang sudah ada dan satu atau beberapa beberapa model telah di-deploy ke endpoint tersebut, Anda harus memperbarui persentase Pemisahan traffic untuk model yang sedang di-deploy dan yang telah di-deploy sehingga jumlah semua persentasenya menjadi 100%.
Jika Anda men-deploy model ke endpoint baru, terima nilai 100 untuk Pemisahan traffic. Jika tidak, sesuaikan nilai pemisahan traffic untuk semua model di endpoint sehingga jumlahnya menjadi 100.
Masukkan Jumlah minimum node komputasi yang ingin Anda berikan untuk model Anda.
Ini adalah jumlah node yang harus selalu tersedia untuk model.
Anda akan dikenai biaya untuk node yang digunakan, baik untuk menangani beban prediksi maupun untuk node standby (minimum) meskipun tanpa traffic prediksi. Lihat halaman harga.
Jumlah node komputasi dapat meningkat jika diperlukan untuk menangani traffic prediksi, tetapi tidak akan pernah melebihi jumlah maksimum node.
Untuk menggunakan penskalaan otomatis, masukkan Jumlah maksimum node komputasi yang ingin Anda tingkatkan skalanya menggunakan Vertex AI.
Pilih Jenis mesin.
Resource mesin yang lebih besar akan meningkatkan performa prediksi dan meningkatkan biaya. Bandingkan jenis mesin yang tersedia.
Pilih Jenis akselerator dan Jumlah akselerator.
Jika Anda mengaktifkan penggunaan akselerator saat mengimpor atau membuat model, opsi ini akan ditampilkan.
Untuk mengetahui jumlah akselerator, lihat tabel GPU untuk memeriksa jumlah GPU valid yang dapat Anda gunakan dengan setiap jenis mesin CPU. Jumlah akselerator mengacu pada jumlah akselerator per node, bukan total jumlah akselerator dalam deployment Anda.
Jika Anda ingin menggunakan akun layanan kustom untuk deployment, pilih akun layanan di kotak drop-down Akun layanan.
Pelajari cara mengubah setelan default untuk logging prediksi.
Klik Selesai untuk model Anda, dan jika semua persentase Pemisahan traffic sudah benar, klik Lanjutkan.
Region tempat model Anda men-deploy ditampilkan. Area ini harus menjadi region tempat Anda membuat model.
Klik Deploy untuk men-deploy model Anda ke endpoint.
Langkah berikutnya
- Pelajari cara mendapatkan prediksi online.
- Pelajari cara mengubah setelan default untuk logging prediksi.