Pour déployer un modèle pour la prédiction en ligne, vous avez besoin d'un point de terminaison. Les points de terminaison peuvent être divisés en plusieurs types:
Les points de terminaison publics sont accessibles sur l'Internet public. Elles sont plus faciles à utiliser, car aucune infrastructure réseau privée n'est requise. Il existe deux types de points de terminaison publics: dédiés et partagés. Un point de terminaison public dédié est un point de terminaison plus rapide qui offre une isolation de la production, une prise en charge de charges utiles plus importantes et des délais avant expiration des requêtes plus longs qu'un point de terminaison public partagé. De plus, lorsque vous envoyez une requête de prédiction à un point de terminaison public dédié, elle est isolée du trafic des autres utilisateurs. C'est pourquoi il est recommandé d'utiliser des points de terminaison publics dédiés.
Les points de terminaison Private Service Connect fournissent une connexion sécurisée pour la communication privée entre l'environnement sur site et Google Cloud. Ils peuvent être utilisés pour contrôler le trafic des API Google à l'aide d'API Private Service Connect. Il est recommandé de suivre ces bonnes pratiques.
Les points de terminaison privés fournissent également une connexion sécurisée à votre modèle et peuvent également être utilisés pour la communication privée entre l'environnement sur site etGoogle Cloud. Ils utilisent l'accès aux services privés via une connexion VPC Network Peering.
Pour en savoir plus sur le déploiement d'un modèle sur un point de terminaison, consultez la section Déployer un modèle sur un point de terminaison.
Le tableau suivant compare les types de points de terminaison compatibles pour la diffusion des prédictions en ligne Vertex AI.
| Point de terminaison public dédié (recommandé) | Point de terminaison public partagé | Point de terminaison Private Service Connect (recommandé) | Point de terminaison privé | |
|---|---|---|---|---|
| Objectif | Expérience réseau par défaut. Active l'envoi de requêtes depuis Internet public (si VPC Service Controls n'est pas activé). | Expérience réseau par défaut. Permet d'envoyer des requêtes depuis Internet public (si VPC Service Controls n'est pas activé). | Recommandé pour les applications d'entreprise de production. Améliore la latence et la sécurité du réseau en veillant à ce que les requêtes et les réponses soient acheminées de manière privée. | Recommandé pour les applications d'entreprise de production. Améliore la latence et la sécurité du réseau en veillant à ce que les requêtes et les réponses soient acheminées de manière privée. |
| Mise en réseau entrante | Internet public utilisant un plan de mise en réseau dédié | Internet public utilisant un plan de réseautage partagé | Mise en réseau privée à l'aide d'un point de terminaison Private Service Connect | Mise en réseau privée à l'aide de l'accès aux services privés (appairage de réseaux VPC) |
| Mise en réseau sortante | Internet public | Internet public | Non compatible | Mise en réseau privée à l'aide de l'accès aux services privés (appairage de réseaux VPC) |
| VPC Service Controls | Non compatible Utilisez plutôt un point de terminaison Private Service Connect. | Compatible | Compatible | Compatible |
| Coût | Vertex AI Prediction | Vertex AI Prediction | Vertex AI Prediction + point de terminaison Service Connect privé | Prédiction Vertex AI + Accès aux services privés (voir "Utiliser un point de terminaison Private Service Connect (règle de transfert) pour accéder à un service publié") |
| Latence du réseau | Optimisé | Non optimisé | Optimisé | Optimisé |
| Chiffrement en transit | TLS avec certificat signé par une autorité de certification | TLS avec certificat signé par une autorité de certification | TLS facultatif avec certificat autosigné | Aucun |
| Délai d'expiration de l'inférence | Configurable jusqu'à une heure | 60 secondes | Configurable jusqu'à une heure | 60 secondes |
| Limite de taille de la charge utile | 10 Mo | 1,5 Mo | 10 Mo | 10 Mo |
| Quota de RPM | Illimité | 30 000 | Illimité | Illimité |
| Compatibilité avec le protocole | HTTP ou gRPC | HTTP | HTTP ou gRPC | HTTP |
| Prise en charge du streaming | Oui (SSE) | Non | Oui (SSE) | Non |
| Répartition du trafic | Oui | Oui | Oui | Non |
| Journalisation des requêtes et réponses | Oui | Oui | Oui | Non |
| La journalisation des accès | Oui | Oui | Oui | Non |
| Déploiement du modèle Gemini ajusté | Non | Oui | Non | Non |
| Modèles AutoML et explicabilité | Non | Oui | Non | Non |
| Bibliothèques clientes compatibles | SDK Vertex AI pour Python | Bibliothèques clientes Vertex AI, SDK Vertex AI pour Python | SDK Vertex AI pour Python | SDK Vertex AI pour Python |
Étape suivante
- Découvrez comment déployer un modèle sur un point de terminaison.