Claude 模型的符號計數

count-tokens 端點可讓您在將訊息傳送至 Claude 前，先判斷訊息中的權杖數量，進一步做出有關提示和用量的明智決策。

使用 count-tokens 端點不會產生任何費用。

支援的 Claude 模型

下列模型支援計算權杖：

支援的地區

下列地區支援計數符記：

  • us-east5
  • europe-west1
  • asia-southeast1
  • us-central1
  • europe-west4

計算基本訊息中的權杖

如要計算權杖，請向 count-tokens 端點傳送 rawPredict 要求。要求主體必須包含您要計算權杖的模型 ID。

REST

使用任何要求資料之前，請先替換以下項目：

  • LOCATION：支援 Anthropic Claude 模型的區域。如要使用全域端點，請參閱「指定全域端點」。
  • MODEL：用來計算權杖的模型。
  • ROLE：與訊息相關聯的角色。您可以指定 user 或 assistant。 第一則訊息必須使用 user 角色。Claude 模型會交替進行 user 和 assistant 回合。如果最後一則訊息使用 assistant 角色，回應內容會立即接續該訊息的內容。您可以使用這項功能限制模型回覆的部分內容。
  • CONTENT：user 或 assistant 訊息的內容，例如文字。

HTTP 方法和網址：

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

JSON 要求主體：

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

如要傳送要求，請選擇以下其中一個選項：

curl

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

您應該會收到類似如下的 JSON 回應。

如要瞭解如何使用工具、圖片和 PDF 計算郵件中的權杖，請參閱 Anthropic 的說明文件。

配額

根據預設，count-tokens 端點的配額為每分鐘 2000 項要求。