Utilizzare l'API Count Tokens

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Gen AI SDK for Python

Installa

pip install --upgrade google-genai

Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=us-central1
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.count_tokens(
    model="gemini-2.0-flash-001",
    contents="What's the highest mountain in Africa?",
)
print(response)
# Example output:
# total_tokens=10
# cached_content_token_count=None

REST

Per ottenere il conteggio dei token e il numero di caratteri fatturabili per un prompt utilizzando l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

• LOCATION: la regione in cui elaborare la richiesta. Le opzioni disponibili includono:

  Fai clic per espandere un elenco parziale delle regioni disponibili

  • us-central1
  • us-west4
  • northamerica-northeast1
  • us-east4
  • us-west1
  • asia-northeast3
  • asia-southeast1
  • asia-northeast1
• PROJECT_ID: il tuo ID progetto.
• MODEL_ID: l'ID del modello multimodale che vuoi utilizzare.
• ROLE: Il ruolo in una conversazione associato ai contenuti. La specifica di un ruolo è obbligatoria anche nei casi d'uso con un solo turno. I valori accettati sono:
  • USER: specifica i contenuti inviati da te.
• TEXT: le istruzioni di testo da includere nel prompt.

Metodo HTTP e URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:countTokens

Corpo JSON della richiesta:

{
  "contents": [{
    "role": "ROLE",
    "parts": [{
      "text": "TEXT"
    }]
  }]
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:countTokens"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:countTokens" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

{ "totalTokens": 43 }

Console

Per ottenere il conteggio dei token per un prompt utilizzando Vertex AI Studio nella console Google Cloud, segui questi passaggi:

1. Nella sezione Vertex AI della console Google Cloud, vai alla pagina Vertex AI Studio.

   Vai a Vertex AI Studio

2. Fai clic su Apri Disegno libero o Apri Chat.
3. Il numero di token viene calcolato e visualizzato durante la digitazione nel riquadro Prompt. Sono inclusi i token in tutti i file di input.
4. Per visualizzare ulteriori dettagli, fai clic su Token<count> per aprire lo strumento di tokenizzazione del prompt.
• Per visualizzare i token nel prompt di testo evidenziati con colori diversi che contrassegnano il confine di ciascun ID token, fai clic su ID token in testo. I token multimediali non sono supportati.
• Per visualizzare gli ID token, fai clic su ID token.

  Per chiudere il riquadro dello strumento di tokenizzazione, fai clic sulla X o al di fuori del riquadro.

Gen AI SDK for Python

Installa

pip install --upgrade google-genai

Imposta le variabili di ambiente per utilizzare l'SDK Gen AI con Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=us-central1
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions, Part

client = genai.Client(http_options=HttpOptions(api_version="v1"))

contents = [
    Part.from_uri(
        file_uri="gs://cloud-samples-data/generative-ai/video/pixel8.mp4",
        mime_type="video/mp4",
    ),
    "Provide a description of the video.",
]

response = client.models.count_tokens(
    model="gemini-2.0-flash-001",
    contents=contents,
)
print(response)
# Example output:
# total_tokens=16252 cached_content_token_count=None

REST

Per ottenere il conteggio dei token e il numero di caratteri fatturabili per un prompt utilizzando l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.

curl
-X POST
-H "Authorization: Bearer $(gcloud auth print-access-token)"
-H "Content-Type: application/json"
https://${REGION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${REGION}/publishers/google/models/${MODEL_ID}:countTokens -d
$'{ "contents": [{ "role": "user", "parts": [ { "file_data": { "file_uri": "gs://cloud-samples-data/generative-ai/video/pixel8.mp4", "mime_type": "video/mp4" } }, { "text": "'"$TEXT"'" }] }] }' ```