온라인 예측을 위해 모델을 배포하려면 엔드포인트가 필요합니다. 엔드포인트는 다음 유형으로 나눌 수 있습니다.
공개 엔드포인트는 공개 인터넷을 통해 액세스할 수 있습니다. 비공개 네트워크 인프라가 필요하지 않으므로 더 쉽게 사용할 수 있습니다. 공개 엔드포인트에는 전용 및 공유라는 두 가지 유형이 있습니다. 전용 공개 엔드포인트는 공유 공개 엔드포인트보다 빠르며 프로덕션 격리, 더 큰 페이로드 크기 지원, 더 긴 요청 제한 시간을 제공합니다. 또한 전용 공개 엔드포인트에 예측 요청을 전송하면 다른 사용자의 트래픽과 격리됩니다. 따라서 전용 공개 엔드포인트를 사용하는 것이 좋습니다.
Private Service Connect 엔드포인트는 온프레미스와 Google Cloud간의 비공개 통신을 위한 보안 연결을 제공합니다. Private Service Connect API를 사용하여 Google API 트래픽을 제어하는 데 사용할 수 있습니다. 이는 권장사항입니다.
비공개 엔드포인트는 모델에 대한 안전한 연결을 제공하며 온프레미스와Google Cloud간의 비공개 통신에도 사용할 수 있습니다. VPC 네트워크 피어링 연결을 통해 비공개 서비스 액세스를 사용합니다.
엔드포인트에 모델을 배포하는 방법에 관한 자세한 내용은 엔드포인트에 모델 배포를 참고하세요.
다음 표에서는 Vertex AI 온라인 예측을 제공하는 데 지원되는 엔드포인트 유형을 비교합니다.
| 전용 공개 엔드포인트 (권장) | 공유 공개 엔드포인트 | Private Service Connect 엔드포인트 (권장) | 비공개 엔드포인트 | |
|---|---|---|---|---|
| 목적 | 기본 네트워킹 환경 공개 인터넷에서 요청을 제출할 수 있도록 합니다 (VPC 서비스 제어가 사용 설정되지 않은 경우). | 기본 네트워킹 환경 공개 인터넷에서 요청을 제출할 수 있도록 합니다 (VPC 서비스 제어가 사용 설정되지 않은 경우). | 프로덕션 엔터프라이즈 애플리케이션에 권장됩니다. 요청과 응답이 비공개로 라우팅되도록 하여 네트워크 지연 시간과 보안을 개선합니다. | 프로덕션 엔터프라이즈 애플리케이션에 권장됩니다. 요청과 응답이 비공개로 라우팅되도록 하여 네트워크 지연 시간과 보안을 개선합니다. |
| 인바운드 네트워킹 | 전용 네트워킹 영역을 사용하는 공개 인터넷 | 공유 네트워킹 영역을 사용하는 공개 인터넷 | Private Service Connect 엔드포인트를 사용한 비공개 네트워킹 | 비공개 서비스 액세스를 사용한 비공개 네트워킹 (VPC 네트워크 피어링) |
| 발신 네트워킹 | 공개 인터넷 | 공개 인터넷 | 지원되지 않음 | 비공개 서비스 액세스를 사용한 비공개 네트워킹 (VPC 네트워크 피어링) |
| VPC 서비스 제어 | 지원되지 않음. 대신 Private Service Connect 엔드포인트를 사용하세요. | 지원됨 | 지원됨 | 지원됨 |
| 비용 | Vertex AI Prediction | Vertex AI Prediction | Vertex AI Prediction + 비공개 Service Connect 엔드포인트 | Vertex AI 예측 + 비공개 서비스 액세스('Private Service Connect 엔드포인트 (전달 규칙)를 사용하여 게시된 서비스에 액세스' 참고) |
| 네트워크 지연 시간 | 최적화 | 최적화되지 않음 | 최적화 | 최적화 |
| 전송 중인 데이터 암호화 | CA 서명 인증서가 있는 TLS | CA 서명 인증서가 있는 TLS | 자체 서명 인증서가 있는 TLS(선택사항) | 없음 |
| 추론 제한 시간 | 최대 1시간까지 구성 가능 | 60초 | 최대 1시간까지 구성 가능 | 60초 |
| 페이로드 크기 한도 | 10MB | 1.5 MB | 10MB | 10MB |
| QPM 할당량 | 무제한 | 30,000 | 무제한 | 무제한 |
| 프로토콜 지원 | HTTP 또는 gRPC | HTTP | HTTP 또는 gRPC | HTTP |
| 스트리밍 지원 | 예 (SSE) | 아니요 | 예 (SSE) | 아니요 |
| 트래픽 분할 | 예 | 예 | 예 | 아니요 |
| 요청 및 응답 로깅 | 예 | 예 | 예 | 아니요 |
| 액세스 로깅 | 예 | 예 | 예 | 아니요 |
| 조정된 Gemini 모델 배포 | 아니요 | 예 | 아니요 | 아니요 |
| AutoML 모델 및 설명 가능성 | 아니요 | 예 | 아니요 | 아니요 |
| 지원되는 클라이언트 라이브러리 | Python용 Vertex AI SDK | Vertex AI 클라이언트 라이브러리, Python용 Vertex AI SDK | Python용 Vertex AI SDK | Python용 Vertex AI SDK |
다음 단계
- 엔드포인트에 모델 배포에 대해 자세히 알아보세요.