Contar tokens de los modelos Claude

El endpoint count-tokens te permite determinar el número de tokens de un mensaje antes de enviarlo a Claude, lo que te ayuda a tomar decisiones fundamentadas sobre tus peticiones y tu uso.

El endpoint count-tokens no tiene ningún coste.

Modelos de Claude admitidos

Los siguientes modelos admiten el recuento de tokens:

Regiones disponibles

Las siguientes regiones admiten tokens de recuento:

  • us-east5
  • europe-west1
  • asia-east1
  • asia-southeast1
  • us-central1
  • europe-west4

Contar tokens en mensajes básicos

Para contar tokens, envía una solicitud rawPredict al endpoint count-tokens. El cuerpo de la solicitud debe contener el ID del modelo con el que quieres contar los tokens.

REST

Antes de usar los datos de la solicitud, haz las siguientes sustituciones:

  • LOCATION: Una región que admita los modelos Claude de Anthropic. Para usar el endpoint global, consulta Especificar el endpoint global.
  • MODEL: el modelo con el que se van a contar los tokens.
  • ROLE: el rol asociado a un mensaje. Puedes especificar un user o un assistant. El primer mensaje debe usar el rol user. Los modelos de Claude funcionan con turnos alternos de user y assistant. Si el mensaje final usa el rol assistant, el contenido de la respuesta continúa inmediatamente a partir del contenido de ese mensaje. Puedes usarlo para restringir parte de la respuesta del modelo.
  • CONTENT: el contenido, como el texto, del mensaje user o assistant.

Método HTTP y URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

Cuerpo JSON de la solicitud: 

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Para enviar tu solicitud, elige una de estas opciones:

curl

Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Deberías recibir una respuesta JSON similar a la siguiente.

Para obtener información sobre cómo contar tokens en mensajes con herramientas, imágenes y PDFs, consulta la documentación de Anthropic.

Cuotas

De forma predeterminada, la cuota del endpoint count-tokens es de 2000 solicitudes por minuto.