Vertex AI 모델 최적화 도구

Vertex AI Model Optimizer는 요구사항을 가장 잘 충족하는 Gemini 모델을 자동으로 적용하여 모델 선택을 간소화하도록 설계된 동적 엔드포인트입니다. 이렇게 하면 단일 메타 엔드포인트에서 프롬프트를 지정할 수 있으며, 서비스는 비용 및 품질 환경설정을 기반으로 쿼리에 가장 적합한 Gemini 모델(Pro, Flash 등)을 지능적으로 선택합니다.

모델 최적화 도구 가격 책정에 대한 자세한 내용은 가격 책정을 참고하세요.

이점

모델 최적화 도구를 사용하면 다음 작업을 할 수 있습니다.

  • 각 애플리케이션에 모델을 선택하는 대신 모델 선택을 간소화합니다.
  • 비용, 품질 또는 둘 다에 맞게 최적화하여 성능과 예산의 균형을 맞출 수 있습니다.
  • 기존 Gemini API 및 SDK와 원활하게 통합
  • 사용량을 추적하고 비용 절감 가능성 파악
  • 수동 엔드포인트 선택 없이 텍스트 기반 작업을 효율적으로 처리

지원되는 모델

언어 지원

Model Optimizer는 Gemini 모델에서 지원하는 모든 언어를 지원합니다. (Gemini 언어 지원 참고)

형식

Model Optimizer는 다음을 비롯한 텍스트 사용 사례를 지원합니다.

  • 코딩(함수 호출 및 코드 실행 포함)
  • 요약
  • 싱글턴 및 멀티턴 채팅
  • 질문과 답변

제한사항 및 처리 방법은 지원되지 않는 기능 처리를 참고하세요.

시작하기

Model Optimizer를 시작하려면 빠른 시작 Colab 노트북을 참고하세요.

Vertex AI Model Optimizer 사용

Python

설치

pip install --upgrade google-genai

자세한 내용은 SDK 참고 문서를 참조하세요.

Vertex AI에서 Gen AI SDK를 사용하도록 환경 변수를 설정합니다. 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

#     from google import genai
#     from google.genai.types import (
#         FeatureSelectionPreference,
#         GenerateContentConfig,
#         HttpOptions,
#         ModelSelectionConfig
#     )
#
#     client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
#     response = client.models.generate_content(
#         model="model-optimizer-exp-04-09",
#         contents="How does AI work?",
#         config=GenerateContentConfig(
#             model_selection_config=ModelSelectionConfig(
#                 feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
#             ),
#         ),
#     )
#     print(response.text)
#     # Example response:
#     # Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#     #
#     # Here's a simplified overview:
#     # ...

Go

Go를 설치하거나 업데이트하는 방법을 알아보세요.

자세한 내용은 SDK 참고 문서를 참조하세요.

Vertex AI에서 Gen AI SDK를 사용하도록 환경 변수를 설정합니다. 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

import (
	"context"
	"fmt"
	"io"

	"google.golang.org/genai"
)

// generateModelOptimizerWithTxt shows how to generate text using a text prompt and model optimizer.
func generateModelOptimizerWithTxt(w io.Writer) error {
	ctx := context.Background()

	clientConfig := &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{APIVersion: "v1beta1"},
	}

	client, err := genai.NewClient(ctx, clientConfig)

	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelSelectionConfig := &genai.ModelSelectionConfig{
		FeatureSelectionPreference: genai.FeatureSelectionPreferenceBalanced,
	}

	generateContentConfig := &genai.GenerateContentConfig{
		ModelSelectionConfig: modelSelectionConfig,
	}

	modelName := "gemini-2.5-flash"
	contents := genai.Text("How does AI work?")

	resp, err := client.Models.GenerateContent(ctx,
		modelName,
		contents,
		generateContentConfig,
	)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)
	// Example response:
	// That's a great question! Understanding how AI works can feel like ...
	// ...
	// **1. The Foundation: Data and Algorithms**
	// ...

	return nil
}

지원되지 않는 기능 처리

Model Optimizer는 텍스트 입력 및 출력만 지원합니다. 하지만 요청에 지원되지 않는 다양한 모달리티나 도구가 포함될 수 있습니다. 다음 섹션에서는 Model Optimizer가 지원되지 않는 이러한 기능을 처리하는 방법을 설명합니다.

멀티모달 요청

동영상, 이미지, 오디오와 같은 멀티모달 데이터가 포함된 프롬프트가 포함된 요청은 INVALID_ARGUMENT 오류를 발생시킵니다.

지원되지 않는 도구

Model Optimizer는 요청에 대한 함수 선언만 지원합니다. 요청에 google_maps, google_search, enterprise_web_search, retrieval 또는 browse를 비롯한 다른 도구 유형이 포함된 경우 INVALID_ARGUMENT 오류가 발생합니다.

의견 보내기

Model Optimizer 사용 경험에 대한 의견을 보내려면 의견 설문조사를 작성하세요.

모델 최적화 도구에 관한 질문, 기술 문제 또는 의견이 있으면 model-optimizer-support@google.com으로 문의하세요.

고객 토론 그룹

개발팀에 직접 연결하려면 Vertex AI Model Optimizer 청취 그룹에 참여할 수 있습니다. 여기에서 제품에 대해 자세히 알아보고 기능이 보다 효과적으로 작동하도록 만드는 방법을 이해할 수 있습니다. 이 그룹의 활동에는 다음이 포함됩니다.

  • 기능에 대해 자세히 알아볼 수 있는 가상 워크숍
  • 요구사항과 우선순위를 공유하기 위한 의견 설문조사
  • 새로운 기능을 살펴보는 Google Cloud 직원과의 1:1 세션

활동은 6~8주에 한 번 정도 제공됩니다. 원하는 만큼 참여할 수 있으며 언제든지 수신을 거부할 수 있습니다. 그룹에 참여하려면 Vertex AI Model Optimizer 토론 그룹 가입 양식을 작성하세요.