Tokens für Claude-Modelle zählen

Mit dem count-tokens-Endpunkt können Sie die Anzahl der Tokens in einer Nachricht ermitteln, bevor Sie sie an Claude senden. So können Sie fundierte Entscheidungen zu Ihren Prompts und Ihrer Nutzung treffen.

Für die Verwendung des count-tokens-Endpunkts fallen keine Kosten an.

Unterstützte Claude-Modelle

Die folgenden Modelle unterstützen das Zählen von Tokens:

Unterstützte Regionen

Die folgenden Regionen unterstützen das Zählen von Tokens:

  • us-east5
  • europe-west1
  • asia-southeast1
  • us-central1
  • europe-west4

Tokens in einfachen Nachrichten zählen

Wenn Sie Tokens zählen möchten, senden Sie eine rawPredict-Anfrage an den Endpunkt count-tokens. Der Text der Anfrage muss die Modell-ID des Modells enthalten, für das Sie Tokens zählen möchten.

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • LOCATION: Eine Region, die Anthropic Claude-Modelle unterstützt. Informationen zur Verwendung des globalen Endpunkts finden Sie unter Globalen Endpunkt angeben.
  • MODEL: Das Modell, für das die Tokens gezählt werden sollen.
  • ROLE: Die einer Nachricht zugeordnete Rolle. Sie können user oder assistant angeben. Die erste Nachricht muss die Rolle user verwenden. Claude-Modelle arbeiten mit abwechselnden user- und assistant-Runden. Wenn die endgültige Nachricht die Rolle assistant verwendet, wird der Antwortinhalt direkt vom Inhalt dieser Nachricht aus fortgesetzt. Damit können Sie einen Teil der Antwort des Modells einschränken.
  • CONTENT: Der Inhalt, z. B. Text der user- oder assistant-Nachricht.

HTTP-Methode und URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

JSON-Text der Anfrage:

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

Informationen zum Zählen von Tokens in Nachrichten mit Tools, Bildern und PDFs finden Sie in der Dokumentation von Anthropic.

Kontingente

Standardmäßig beträgt das Kontingent für den count-tokens-Endpunkt 2.000 Anfragen pro Minute.