Tokens auflisten und zählen

Das Vertex AI SDK für Python (Version 1.60.0 und höher) enthält einen integrierten Tokenizer, mit dem Sie die Tokens eines Prompts lokal auflisten und zählen können, ohne API-Aufrufe ausführen zu müssen. Auf dieser Seite erfahren Sie, wie Sie mit dem Vertex AI SDK für Python die Tokens und ihre Token-IDs eines Prompts auflisten und die Gesamtzahl der Tokens eines Prompts abrufen.

Tokens und die Bedeutung der Auflistung und Zählung von Tokens

Modelle für generative KI zerlegen Text und andere Daten in einem Prompt in Einheiten, die als Tokens bezeichnet werden, um sie zu verarbeiten. Wie Daten in Tokens umgewandelt werden, hängt vom verwendeten Tokenizer ab. Ein Token kann aus Zeichen, Wörtern oder Wortgruppen bestehen.

Jedes Modell hat eine maximale Anzahl von Tokens, die es in einem Prompt und einer Antwort verarbeiten kann. Wenn Sie die Tokenanzahl Ihres Prompts kennen, können Sie feststellen, ob Sie dieses Limit überschritten haben oder nicht. Außerdem werden beim Zählen von Tokens auch die abrechenbaren Zeichen für den Prompt zurückgegeben. Dies hilft Ihnen bei der Schätzung der Kosten.

Wenn Sie das Auflisten von Tokens auswählen, wird eine Liste der Tokens zurückgegeben, in die Ihr Prompt unterteilt ist. Jedem aufgeführten Token ist eine Token-ID zugeordnet, die Ihnen bei der Fehlerbehebung und Analyse des Modellverhaltens hilft.

Unterstützte Modelle

In der folgenden Tabelle sind die Modelle aufgeführt, die die Tokenauflistung und Tokenzählung unterstützen:

Liste der Tokens und Token-IDs für eine Eingabeaufforderung abrufen

Im folgenden Codebeispiel wird gezeigt, wie Sie eine Liste von Tokens und Token-IDs für einen Prompt abrufen. Der Prompt darf nur Text enthalten. Multimodale Prompts werden nicht unterstützt.

from vertexai.preview.tokenization import get_tokenizer_for_model

# init local tokenzier
tokenizer = get_tokenizer_for_model("gemini-1.5-flash-001")

# Count Tokens
prompt = "why is the sky blue?"
response = tokenizer.count_tokens(prompt)
print(f"Tokens count: {response.total_tokens}")
# Example response:
#       Tokens count: 6

# Compute Tokens
response = tokenizer.compute_tokens(prompt)
print(f"Tokens list: {response.tokens_info}")
# Example response:
#     Tokens list: [TokensInfo(token_ids=[18177, 603, 573, 8203, 3868, 235336],
#          tokens=[b'why', b' is', b' the', b' sky', b' blue', b'?'], role='user')]

Tokenanzahl und abrechenbare Zeichen eines Prompts abrufen

Im folgenden Codebeispiel wird gezeigt, wie Sie die Anzahl der Tokens und die Anzahl der abrechenbaren Zeichen eines Prompts abrufen. Es werden sowohl Nur-Text- als auch multimodale Prompts unterstützt.

from vertexai.preview.tokenization import get_tokenizer_for_model

# Using local tokenzier
tokenizer = get_tokenizer_for_model("gemini-1.5-flash-002")

prompt = "hello world"
response = tokenizer.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")
# Example response:
# Prompt Token Count: 2

prompt = ["hello world", "what's the weather today"]
response = tokenizer.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")
# Example response:
# Prompt Token Count: 8