Menghitung token untuk model Claude

Endpoint count-tokens memungkinkan Anda menentukan jumlah token dalam pesan sebelum mengirimkannya ke Claude, sehingga membantu Anda membuat keputusan yang tepat tentang perintah dan penggunaan Anda.

Tidak ada biaya untuk menggunakan endpoint count-tokens.

Model Claude yang didukung

Model berikut mendukung penghitungan token:

Region yang didukung

Wilayah berikut mendukung penghitungan token:

  • us-east5
  • europe-west1
  • asia-southeast1
  • us-central1
  • europe-west4

Menghitung token dalam pesan dasar

Untuk menghitung token, kirim permintaan rawPredict ke endpoint count-tokens. Isi permintaan harus berisi ID model yang ingin Anda hitung tokennya.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region yang mendukung model Anthropic Claude. Untuk menggunakan endpoint global, lihat Menentukan endpoint global.
  • MODEL: Model untuk menghitung token.
  • ROLE: Peran yang terkait dengan pesan. Anda dapat menentukan user atau assistant. Pesan pertama harus menggunakan peran user. Model Claude beroperasi dengan giliran user dan assistant yang bergantian. Jika pesan terakhir menggunakan peran assistant, maka konten respons akan langsung dilanjutkan dari konten dalam pesan tersebut. Anda dapat menggunakan ini untuk membatasi sebagian respons model.
  • CONTENT: Konten, seperti teks, dari pesan user atau assistant.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

Isi JSON permintaan: 

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Untuk mengetahui informasi tentang cara menghitung token dalam pesan dengan alat, gambar, dan PDF, lihat dokumentasi Anthropic.

Kuota

Secara default, kuota untuk endpoint count-tokens adalah 2.000 permintaan per menit.