Mistral AI 모델

Vertex AI 기반 Mistral AI 모델은 완전 관리형 서버리스 모델을 API로 제공합니다. Vertex AI에서 Mistral AI 모델을 사용하려면 요청을 Vertex AI API 엔드포인트로 직접 보냅니다. Mistral AI 모델은 관리형 API를 사용하므로 인프라를 프로비저닝하거나 관리할 필요가 없습니다.

대답을 스트리밍하여 최종 사용자의 지연 시간 인식을 줄일 수 있습니다. 스트리밍된 응답은 서버 전송 이벤트(SSE)를 사용하여 대답을 점진적으로 스트리밍합니다.

Mistral AI 모델은 사용한 만큼만 비용을 지불합니다(사용한 만큼만 지불). 사용한 만큼만 지불 가격 책정은 Vertex AI 가격 책정 페이지의 Mistral AI 모델 가격 책정을 참고하세요.

사용 가능한 Mistral AI 모델

Mistral AI에서 Vertex AI에 사용할 수 있는 다음 모델을 사용할 수 있습니다. Mistral AI 모델에 액세스하려면 Model Garden 모델 카드로 이동합니다.

Mistral Large (24.11)

Mistral Large (24.11)는 추론 및 함수 호출 기능이 개선된 Mistral AI의 Large 모델의 최신 버전입니다.

• 에이전트 중심: 네이티브 함수 호출 및 JSON 출력을 갖춘 최고의 에이전트 기능을 갖췄습니다.
• 다국어 설계: 한국어, 네덜란드어, 독일어, 스페인어, 영어, 이탈리아어, 중국어, 일본어, 포르투갈어, 프랑스어, 폴란드어 등 수십 개의 언어가 지원됩니다.
• 코딩에 능숙: Python, Java, C, C++, JavaScript, Bash 등 80개 이상의 코딩 언어로 학습되었습니다. Swift 및 Fortran과 같은 더 구체적인 언어로도 학습됩니다.
• 고급 추론: 최첨단 수학 및 추론 기능이 있습니다.

Mistral Large (2407)

Mistral Large (2407)는 텍스트 생성을 위한 Mistral AI의 대표적인 모델입니다. 최고 수준의 추론 기능을 제공하며 텍스트 이해, 변환, 코드 생성을 비롯한 복잡한 다국어 작업에 사용할 수 있습니다. 자세한 내용은 Mistral Large (2407)에 관한 Mistral AI의 게시물을 참고하세요.

Mistral Large (2407)는 다음 측정기준에서 두드러집니다.

• 다국어 지원 설계: 한국어, 네덜란드어, 독일어, 스페인어, 영어, 이탈리아어, 중국어, 일본어, 포르투갈어, 프랑스어, 폴란드어 등 수십 개의 언어가 지원됩니다.
• 코딩에 능숙: Python, Java, C, C++, JavaScript, Bash 등 80개 이상의 코딩 언어로 학습되었습니다. Swift 및 Fortran과 같은 더 구체적인 언어로도 학습됩니다.
• 에이전트 중심: 네이티브 함수 호출 및 JSON 출력을 갖춘 최고의 에이전트 기능을 갖췄습니다.
• 고급 추론: 최첨단 수학 및 추론 기능이 있습니다.

Mistral Nemo

Mistral Nemo는 Mistral AI의 가장 비용 효율적인 독점 모델입니다. 지연 시간이 짧은 워크로드와 분류, 고객 지원, 텍스트 생성 등 일괄적으로 실행할 수 있는 간단한 작업에 적합합니다. 자세한 내용은 Mistral AI의 문서를 참고하세요.

Mistral Nemo는 다음과 같은 사용 사례에 최적화되어 있습니다.

• 텍스트 생성 및 분류
• 고객 지원 시나리오를 위한 상담사 빌드
• 코드 생성, 완성, 검토, 주석 모든 메인스트림 코딩 언어를 지원합니다.

Codestral

Codestral은 fill-in-the-middle 및 코드 완성을 비롯한 코드 생성 태스크에 맞게 특별히 설계되고 최적화된 생성 모델입니다. Codestral은 80개가 넘는 프로그래밍 언어로 학습되어 흔한 언어와 흔하지 않은 언어 모두에서 우수한 성능을 발휘합니다. 자세한 내용은 Mistral AI의 코드 생성 문서를 참고하세요.

Codestral은 다음과 같은 사용 사례에 최적화되어 있습니다.

• 코드 생성, 코드 완성, 제안, 번역 제공
• 코드를 이해하여 코드의 요약과 설명을 제공
• 코드 리팩터링, 버그 수정, 테스트 사례 생성을 지원하여 코드 품질 검토

Mistral AI 모델 사용

Mistral AI의 모델을 사용하기 위한 요청을 보낼 때는 다음 모델 이름을 사용하세요.

• Mistral Large (24.11)의 경우 mistral-large-2411을 사용합니다.
• Mistral Large (2407)의 경우 mistral-large@2407을 사용합니다.
• Mistral Nemo의 경우 mistral-nemo@2407을 사용합니다.
• Codestral의 경우 codestral@2405을 사용합니다.

Mistral AI SDK 사용에 관한 자세한 내용은 Mistral AI Vertex AI 문서를 참고하세요.

시작하기 전에

Vertex AI에서 Mistral AI 모델을 사용하려면 다음 단계를 실행해야 합니다. Vertex AI를 사용하려면 Vertex AI API(aiplatform.googleapis.com)를 사용 설정해야 합니다. Vertex AI API가 사용 설정된 기존 프로젝트가 이미 있는 경우 새 프로젝트를 만드는 대신 해당 프로젝트를 사용할 수 있습니다.

파트너 모델을 사용 설정하고 사용하는 데 필요한 권한이 있는지 확인합니다. 자세한 내용은 필수 권한 부여를 참고하세요.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI API.

   Enable the API

8. Mistral AI Model Garden 모델 카드 중 하나로 이동한 다음 사용 설정을 클릭합니다.

Mistral AI 모델에 스트리밍 호출 수행

다음 샘플은 Mistral AI 모델을 스트리밍 호출합니다.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}
...

Mistral AI 모델에 단항 호출 수행

다음 샘플은 Mistral AI 모델을 단항 호출합니다.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

{
    "id": "e71d13ffb77344a08e34e0a22ea84458",
    "object": "chat.completion",
    "created": 1720806624,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "OUTPUT",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 17,
        "total_tokens": 295,
        "completion_tokens": 278
    }
}

Mistral AI 모델 리전 가용성 및 할당량

Mistral AI 모델의 경우 모델을 사용할 수 있는 각 리전에 할당량이 적용됩니다. 할당량은 분당 쿼리 수(QPM) 및 분당 토큰 수(TPM)로 지정됩니다. TPM에는 입력 및 출력 토큰이 모두 포함됩니다.

각 Mistral AI 모델에 지원되는 리전, 기본 할당량, 최대 컨텍스트 길이는 다음 표에 나와 있습니다.

Mistral Large (24.11)

Mistral Large (2407)

Mistral Nemo

Codestral

Vertex AI의 생성형 AI 할당량을 상향 조정하려면 Google Cloud 콘솔을 사용해 할당량 상향을 요청하면 됩니다. 할당량에 대한 자세한 내용은 할당량 작업을 참조하세요.