Choisir un type de point de terminaison

Pour déployer un modèle pour l'inférence en ligne, vous avez besoin d'un point de terminaison. Les points de terminaison peuvent être divisés en plusieurs types :

  • Les points de terminaison publics sont accessibles sur l'Internet public. Elles sont plus faciles à utiliser, car aucune infrastructure de réseau privé n'est requise. Il existe deux types de points de terminaison publics : dédiés et partagés. Un point de terminaison public dédié est un point de terminaison plus rapide qui offre une isolation de la production, accepte des charges utiles de plus grande taille et des délais avant expiration des requêtes plus longs qu'un point de terminaison public partagé. De plus, lorsque vous envoyez une requête d'inférence à un point de terminaison public dédié, elle est isolée du trafic des autres utilisateurs. C'est pourquoi il est recommandé d'utiliser des points de terminaison publics dédiés.

  • Les points de terminaison privés dédiés utilisant Private Service Connect fournissent une connexion sécurisée pour la communication privée entre les environnements sur site etGoogle Cloud. Elles peuvent être utilisées pour contrôler le trafic des API Google à l'aide des API Private Service Connect. Il s'agit d'une bonne pratique.

  • Les points de terminaison privés fournissent également une connexion sécurisée à votre modèle et peuvent également être utilisés pour la communication privée entre les environnements sur site etGoogle Cloud. Ils utilisent l'accès aux services privés via une connexion d'appairage de réseaux VPC.

Pour en savoir plus sur le déploiement d'un modèle sur un point de terminaison, consultez Déployer un modèle sur un point de terminaison.

Le tableau suivant compare les types de points de terminaison compatibles pour la diffusion des inférences en ligne Vertex AI.

Point de terminaison public dédié (recommandé) Point de terminaison public partagé Point de terminaison privé dédié à l'aide de Private Service Connect (recommandé) Point de terminaison privé
Objectif Expérience de mise en réseau par défaut. Permet d'envoyer des requêtes depuis l'Internet public. Expérience de mise en réseau par défaut. Permet d'envoyer des requêtes depuis l'Internet public. Recommandé pour les applications d'entreprise de production. Améliore la latence et la sécurité du réseau en s'assurant que les requêtes et les réponses sont acheminées de manière privée. Recommandé pour les applications d'entreprise de production. Améliore la latence et la sécurité du réseau en s'assurant que les requêtes et les réponses sont acheminées de manière privée.
Accès Mise en réseau Internet public utilisant un plan de réseau dédié Internet public utilisant un plan de réseau partagé Mise en réseau privée à l'aide d'un point de terminaison Private Service Connect Mise en réseau privée à l'aide de l'accès aux services privés (appairage de réseaux VPC)
VPC Service Controls Non compatible Utilisez plutôt un point de terminaison privé dédié. Compatible Compatible Compatible
Coût Vertex AI Inference Vertex AI Inference Vertex AI Inference + point de terminaison Private Service Connect Vertex AI Inference + Accès aux services privés (voir "Utiliser un point de terminaison Private Service Connect (règle de transfert) pour accéder à un service publié")
Latence du réseau Optimisé Non optimisé Optimisé Optimisé
Chiffrement en transit TLS avec certificat signé par une autorité de certification TLS avec certificat signé par une autorité de certification TLS facultatif avec certificat autosigné Aucun
Délai avant expiration de l'inférence Configurable jusqu'à une heure 60 secondes Configurable jusqu'à une heure 60 secondes
Limite de taille de la charge utile 10 Mo 1,5 Mo 10 Mo 10 Mo
Quota de RPM Illimité 30 000 Illimité Illimité
Compatibilité avec le protocole HTTP ou gRPC HTTP HTTP ou gRPC HTTP
Assistance pour le streaming Oui (SSE) Non Oui (SSE) Non
Répartition du trafic Oui Oui Oui Non
Journalisation des requêtes et réponses Oui Oui Oui Non
La journalisation des accès Oui Oui Oui Non
Déploiement de modèles Gemini réglés Non Oui Non Non
Modèles AutoML et explicabilité Non Oui Non Non
Bibliothèques clientes compatibles SDK Vertex AI pour Python Bibliothèques clientes Vertex AI, SDK Vertex AI pour Python SDK Vertex AI pour Python SDK Vertex AI pour Python

Étapes suivantes