Untuk men-deploy model untuk prediksi online, Anda memerlukan endpoint. Endpoint dapat dibagi menjadi beberapa jenis berikut:
Endpoint publik dapat diakses melalui internet publik. Alat ini lebih mudah digunakan, karena tidak memerlukan infrastruktur jaringan pribadi. Ada dua jenis endpoint publik: khusus dan bersama. Endpoint publik khusus adalah endpoint yang lebih cepat yang menyediakan isolasi produksi, dukungan untuk ukuran payload yang lebih besar, dan waktu tunggu permintaan yang lebih lama daripada endpoint publik bersama. Selain itu, saat Anda mengirim permintaan prediksi ke endpoint publik khusus, permintaan tersebut akan diisolasi dari traffic pengguna lain. Karena alasan ini, endpoint publik khusus direkomendasikan sebagai praktik terbaik.
Endpoint Private Service Connect menyediakan koneksi aman untuk komunikasi pribadi antara on-premise dan Google Cloud. API ini dapat digunakan untuk mengontrol traffic Google API melalui penggunaan Private Service Connect API. Praktik ini direkomendasikan sebagai praktik terbaik.
Endpoint pribadi juga menyediakan koneksi aman ke model Anda dan juga dapat digunakan untuk komunikasi pribadi antara on-premise dan Google Cloud. Keduanya menggunakan akses layanan pribadi melalui koneksi Peering Jaringan VPC.
Untuk mengetahui informasi selengkapnya tentang cara men-deploy model ke endpoint, lihat Men-deploy model ke endpoint.
Tabel berikut membandingkan jenis endpoint yang didukung untuk menyalurkan prediksi online Vertex AI.
| Endpoint publik khusus (direkomendasikan) | Endpoint publik bersama | Endpoint Private Service Connect (direkomendasikan) | Endpoint pribadi | |
|---|---|---|---|---|
| Purpose | Pengalaman jaringan default. Mengaktifkan pengiriman permintaan dari internet publik (jika Kontrol Layanan VPC tidak diaktifkan). | Pengalaman jaringan default. Mengaktifkan pengiriman permintaan dari internet publik (jika Kontrol Layanan VPC tidak diaktifkan). | Direkomendasikan untuk aplikasi perusahaan produksi. Meningkatkan latensi dan keamanan jaringan dengan memastikan permintaan dan respons dirutekan secara pribadi. | Direkomendasikan untuk aplikasi perusahaan produksi. Meningkatkan latensi dan keamanan jaringan dengan memastikan permintaan dan respons dirutekan secara pribadi. |
| Jaringan masuk | Internet publik menggunakan bidang jaringan khusus | Internet publik yang menggunakan platform jaringan bersama | Jaringan pribadi menggunakan endpoint Private Service Connect | Jaringan pribadi menggunakan Akses layanan pribadi (Peering Jaringan VPC) |
| Jaringan keluar | Internet publik | Internet publik | Tidak didukung | Jaringan pribadi menggunakan Akses layanan pribadi (Peering Jaringan VPC) |
| Kontrol Layanan VPC | Tidak didukung. Sebagai gantinya, gunakan endpoint Private Service Connect. | Didukung | Didukung | Didukung |
| Biaya | Vertex AI Prediction | Vertex AI Prediction | Vertex AI Prediction + endpoint Private Service Connect | Prediksi Vertex AI + Akses layanan pribadi (lihat: "Menggunakan endpoint Private Service Connect (aturan penerusan) untuk mengakses layanan yang dipublikasikan") |
| Latensi jaringan | Dioptimalkan | Tidak dioptimalkan | Dioptimalkan | Dioptimalkan |
| Enkripsi saat transit | TLS dengan sertifikat yang ditandatangani CA | TLS dengan sertifikat yang ditandatangani CA | TLS opsional dengan sertifikat yang ditandatangani sendiri | Tidak ada |
| Waktu tunggu inferensi | Dapat dikonfigurasi hingga 1 jam | 60 detik | Dapat dikonfigurasi hingga 1 jam | 60 detik |
| Batas ukuran payload | 10 MB | 1,5 MB | 10 MB | 10 MB |
| Kuota QPM | Tidak terbatas | 30.000 | Tidak terbatas | Tidak terbatas |
| Dukungan protokol | HTTP atau gRPC | HTTP | HTTP atau gRPC | HTTP |
| Dukungan streaming | Ya (SSE) | Tidak | Ya (SSE) | Tidak |
| Pembagian traffic | Ya | Ya | Ya | Tidak |
| Logging permintaan dan respons | Ya | Ya | Ya | Tidak |
| Logging akses | Ya | Ya | Ya | Tidak |
| Deployment model Gemini yang disesuaikan | Tidak | Ya | Tidak | Tidak |
| Model AutoML dan kemampuan menjelaskan | Tidak | Ya | Tidak | Tidak |
| Library klien yang didukung | Vertex AI SDK untuk Python | Library klien Vertex AI, Vertex AI SDK for Python | Vertex AI SDK untuk Python | Vertex AI SDK untuk Python |
Langkah berikutnya
- Pelajari lebih lanjut cara men-deploy model ke endpoint.