Mistral AI-Modelle

Mistral AI-Modelle in Vertex AI bieten vollständig verwaltete und serverlose Modelle als APIs. Wenn Sie ein Mistral AI-Modell für Vertex AI verwenden möchten, senden Sie eine Anfrage direkt an den API-Endpunkt von Vertex AI. Da Mistral AI-Modelle eine verwaltete API verwenden, muss keine Infrastruktur bereitgestellt oder verwaltet werden.

Sie können Ihre Antworten streamen, um die vom Endnutzer wahrgenommene Latenz zu reduzieren. Eine gestreamte Antwort verwendet vom Server gesendete Ereignisse (SSE, Server-Sent Events), um die Antwort schrittweise zu streamen.

Sie zahlen für Mistral AI-Modelle, sobald Sie sie verwenden (Pay-as-you-go). Die „Pay-as-you-go“-Preise finden Sie in den Preisen des Mistral AI-Modells auf der Preisseite für Vertex AI.

Verfügbare Mistral AI-Modelle

Die folgenden Modelle sind von Mistral AI zur Verwendung in Vertex AI verfügbar. Rufen Sie die zugehörige Model Garden-Modellkarte auf, um auf ein Mistral AI-Modell zuzugreifen.

Mistral Large (24.11)

Mistral Large (24.11) ist die neueste Version des Large-Modells von Mistral AI mit verbesserten Funktionen für Schlussfolgerungen und Funktionsaufrufe.

• Kundenservicemitarbeiter-zentriert: Erstklassige Funktionen für Kundenservicemitarbeiter mit nativen Funktionsaufrufen und JSON-Ausgaben.
• Mehrsprachig: Unterstützt Dutzende von Sprachen, darunter Deutsch, Englisch, Französisch, Italienisch, Chinesisch, Japanisch, Koreanisch, Portugiesisch, Niederländisch und Polnisch
• Kompetent im Programmieren: Ausgebildet in über 80 Programmiersprachen wie Python, Java, C, C++, JavaScript und Bash. Außerdem wurde es mit bestimmten Sprachen wie Swift und Fortran trainiert.
• Erweiterte Inferenz: Modernste mathematische und inferentielle Fähigkeiten.

Mistral Large (2407)

Mistral Large (2407) ist das Flagship-Modell von Mistral AI für die Textgenerierung. Es erreicht erstklassige Logikleistungen und kann für komplexe mehrsprachige Aufgaben wie Textverständnis, Transformation und Codegenerierung verwendet werden. Weitere Informationen finden Sie im Beitrag von Mistral AI zu Mistral Large (2407).

Mistral Large (2407) zeichnet sich durch folgende Eigenschaften aus:

• Mehrsprachig: Unterstützt Dutzende von Sprachen, darunter Deutsch, Englisch, Französisch, Italienisch, Chinesisch, Japanisch, Koreanisch, Portugiesisch, Niederländisch und Polnisch.
• Kompetent im Programmieren: Ausgebildet in über 80 Programmiersprachen wie Python, Java, C, C++, JavaScript und Bash. Außerdem wurde es mit bestimmten Sprachen wie Swift und Fortran trainiert.
• Kundenservicemitarbeiter-zentriert: Erstklassige Funktionen für Kundenservicemitarbeiter mit nativem Funktionsaufruf und JSON-Ausgabe.
• Erweiterte Inferenz: Modernste mathematische und inferentielle Fähigkeiten.

Mistral Nemo

Mistral Nemo ist das kostengünstigste proprietäre Modell von Mistral AI. Es eignet sich ideal für Arbeitslasten mit niedriger Latenz und einfache Aufgaben, die im Bulk-Verfahren ausgeführt werden können, z. B. Klassifizierung, Kundensupport und Textgenerierung. Weitere Informationen finden Sie in der Dokumentation von Mistral AI.

Mistral Nemo ist für die folgenden Anwendungsfälle optimiert:

• Text generieren und klassifizieren.
• Kundenservicemitarbeiter für Kundensupport-Szenarien erstellen
• Code generieren, vervollständigen, prüfen und kommentieren. Unterstützt alle gängigen Programmiersprachen.

Codestral

Codestral ist ein generatives Modell, das speziell für Codegenerierungsaufgaben entwickelt und optimiert wurde, einschließlich fill-in-the-middle und Codevervollständigung. Codestral wurde mit mehr als 80 Programmiersprachen trainiert, sodass es sowohl mit gängigen als auch weniger gängigen Sprachen gut abschneidet. Weitere Informationen finden Sie in der Dokumentation zur Codegenerierung von Mistral AI.

Codestral ist für die folgenden Anwendungsfälle optimiert:

• Code generieren, Codevervollständigung, Vorschläge und Übersetzungen bereitstellen.
• Sie müssen Ihren Code verstehen, um eine Zusammenfassung und Erklärung Ihres Codes zu liefern.
• Die Qualität Ihres Codes prüfen, indem Sie Ihren Code umstrukturieren, Fehler beheben und Testfälle generieren.

Mistral AI-Modelle verwenden

Verwenden Sie beim Senden von Anfragen zur Verwendung der Mistral AI-Modelle die folgenden Modellnamen:

• Verwenden Sie für Mistral Large (24.11) mistral-large-2411.
• Verwenden Sie für Mistral Large (2407) mistral-large@2407.
• Verwenden Sie für Mistral Nemo mistral-nemo@2407.
• Verwenden Sie für Codestral codestral@2405.

Weitere Informationen zur Verwendung des Mistral AI SDK finden Sie in der Dokumentation zu Mistral AI Vertex AI.

Hinweise

Führen Sie die folgenden Schritte aus, um Mistral AI-Modelle mit Vertex AI zu verwenden. Die Vertex AI API (aiplatform.googleapis.com) muss aktiviert sein, um Vertex AI verwenden zu können. Wenn Sie bereits ein Projekt mit aktivierter Vertex AI API haben, können Sie dieses Projekt verwenden, anstatt ein neues Projekt zu erstellen.

Sie müssen die erforderlichen Berechtigungen zum Aktivieren und Verwenden von Partnermodellen haben. Weitere Informationen finden Sie unter Erforderliche Berechtigungen erteilen.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI API.

   Enable the API

8. Rufen Sie eine der Modellkarten für Mistral AI in Model Garden auf und klicken Sie auf Aktivieren.

Streaming-Aufruf an ein Mistral AI-Modell senden

Im folgenden Beispiel wird ein Streaming-Aufruf an ein Mistral AI-Modell gesendet.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}
...

Unären Aufruf an ein Mistral AI-Modell senden

Im folgenden Beispiel wird ein unärer Aufruf an ein Mistral AI-Modell ausgeführt.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

{
    "id": "e71d13ffb77344a08e34e0a22ea84458",
    "object": "chat.completion",
    "created": 1720806624,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "OUTPUT",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 17,
        "total_tokens": 295,
        "completion_tokens": 278
    }
}

Verfügbarkeit und Kontingente der Mistral AI-Modellregion

Bei Mistral AI-Modellen gilt ein Kontingent für jede Region, in der das Modell verfügbar ist. Das Kontingent wird in Abfragen pro Minute (Queries per minute, QPM) und Tokens pro Minute (Tokens per minute, TPM) angegeben. TPM umfasst sowohl Eingabe- als auch Ausgabetokens.

Die unterstützten Regionen, Standardkontingente und die maximale Kontextlänge pro Mistral AI-Modell sind in den folgenden Tabellen aufgeführt:

Mistral Large (24.11)

Mistral Large (2407)

Mistral Nemo

Codestral

Wenn Sie eines der Kontingente für die generative AI auf Vertex AI erhöhen möchten, können Sie über die Google Cloud Console eine Kontingenterhöhung anfordern. Weitere Informationen zu Kontingenten finden Sie unter Mit Kontingenten arbeiten.