Menggunakan model Claude dari Anthropic

Anda dapat melakukan streaming respons Claude untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk melakukan streaming respons secara bertahap.

Anda membayar model Claude saat menggunakannya (bayar sesuai penggunaan), atau Anda membayar biaya tetap saat menggunakan throughput penyediaan. Untuk mengetahui harga bayar sesuai penggunaan, lihat Model Claude Anthropic di halaman harga Vertex AI.

Model Anthropic Claude yang tersedia

Model berikut tersedia dari Anthropic untuk digunakan dalam Vertex AI. Untuk mengakses model Anthropic Claude, buka kartu model Model Garden-nya.

Claude 3.5 Sonet

Claude 3.5 Sonnet adalah model AI paling canggih dari Anthropic dan mempertahankan kecepatan serta biaya Claude 3 Sonnet, yang merupakan model tingkat menengah. Claude 3.5 Sonnet menunjukkan apa saja yang dapat dilakukan dengan AI generatif. Claude 3.5 Sonnet dioptimalkan untuk kasus penggunaan berikut:

• Pengkodean, seperti menulis, mengedit, dan menjalankan kode dengan kemampuan penalaran dan pemecahan masalah yang canggih.

• Tangani kueri kompleks dari dukungan pelanggan dengan memahami konteks pengguna dan mengorkestrasi alur kerja multi-langkah.

• Data science dan analisis data dengan menavigasi data yang tidak terstruktur dan memanfaatkan banyak alat untuk menghasilkan insight.

• Pemrosesan visual, seperti menafsirkan diagram dan grafik yang memerlukan pemahaman visual.

• Menulis konten dengan nada yang lebih alami dan mirip manusia.

Buka kartu model Claude 3.5 Sonnet

Claude 3 Opus

Anthropic Claude 3 Opus adalah model AI tercanggih kedua dari Anthropic, dengan performa kuat pada tugas yang sangat kompleks. AI generatif dapat menavigasi perintah terbuka dan skenario tak terlihat dengan kefasihan luar biasa dan pemahaman layaknya manusia. Claude 3 Opus dioptimalkan untuk kasus penggunaan berikut:

• Otomatisasi tugas, seperti coding dan perencanaan interaktif, atau menjalankan tindakan kompleks di seluruh API dan database.

• Tugas penelitian dan pengembangan, seperti tinjauan riset, bertukar pikiran dan pembuatan hipotesis, serta pengujian produk.

• Tugas strategi, seperti analisis lanjutan diagram dan grafik, tren keuangan dan pasar, serta perkiraan.

• Tugas visual, seperti memproses gambar untuk menampilkan output teks. Selain itu, analisis bagan, grafik, diagram teknis, laporan, dan konten visual lainnya.

Buka kartu model Claude 3 Opus

Claude 3 Haiku

Anthropic Claude 3 Haiku adalah model teks dan penglihatan tercepat dari Anthropic untuk respons instan terhadap kueri sederhana, yang dimaksudkan untuk pengalaman AI yang lancar yang meniru interaksi manusia. Claude 3 Haiku dioptimalkan untuk kasus penggunaan berikut:

• Terjemahan dan interaksi pelanggan langsung.

• Moderasi konten untuk mendeteksi perilaku atau permintaan pelanggan yang mencurigakan.

• Tugas penghematan biaya, seperti pengelolaan inventaris dan ekstraksi pengetahuan dari data tidak terstruktur.

• Tugas penglihatan, seperti memproses gambar untuk menampilkan output teks, analisis diagram, grafik, diagram teknis, laporan, dan konten visual lainnya.

Buka kartu model Haiku 3 Clude

Claude 3 Sonet

Anthropic Claude 3 Sonnet adalah kombinasi keterampilan dan kecepatan Anthropic yang dapat diandalkan.Soneta dirancang agar dapat diandalkan untuk deployment AI yang diskalakan di berbagai kasus penggunaan. Claude 3 Sonnet dioptimalkan untuk kasus penggunaan berikut:

• Pemrosesan data, termasuk retrieval-augmented generation (RAG) dan pengambilan penelusuran.

• Tugas penjualan, seperti rekomendasi produk, perkiraan, dan pemasaran yang ditargetkan.

• Tugas-tugas yang menghemat waktu, seperti pembuatan kode, kendali mutu, dan pengenalan karakter optik (OCR) dalam gambar.

• Tugas visual, seperti memproses gambar untuk menampilkan output teks. Selain itu, analisis bagan, grafik, diagram teknis, laporan, dan konten visual lainnya.

Buka kartu model Claude 3 Sonnet

Menggunakan model Claude

Anda dapat menggunakan Anthropic SDK atau perintah curl untuk mengirim permintaan ke endpoint Vertex AI menggunakan nama model berikut:

• Untuk Claude 3.5 Sonnet, gunakan claude-3-5-sonnet@20240620.
• Untuk Claude 3 Opus, gunakan claude-3-opus@20240229.
• Untuk Claude 3 Haiku, gunakan claude-3-haiku@20240307.
• Untuk Claude 3 Sonnet, gunakan claude-3-sonnet@20240229.

Sebaiknya gunakan versi model Claude Antropik yang menyertakan akhiran yang dimulai dengan simbol @ (seperti claude-3-5-sonnet@20240620 atau claude-3-haiku@20240307) karena kemungkinan perbedaan di antara berbagai versi model. Jika Anda tidak menentukan versi model, versi terbaru akan selalu digunakan, yang dapat secara tidak sengaja memengaruhi alur kerja Anda saat versi model berubah.

Sebelum memulai

Untuk menggunakan model Anthropic Claude dengan Vertex AI, Anda harus melakukan langkah-langkah berikut. Vertex AI API (aiplatform.googleapis.com) harus diaktifkan untuk menggunakan Vertex AI. Jika sudah memiliki project dengan Vertex AI API yang aktif, Anda dapat menggunakan project tersebut daripada membuat project baru.

Pastikan Anda memiliki izin yang diperlukan untuk mengaktifkan model Anthropic Claude. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin yang diperlukan.

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Enable the Vertex AI API.

   Enable the API

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Enable the Vertex AI API.

   Enable the API

8. Pastikan Anda memiliki izin untuk mengaktifkan model Anthropic Claude dan mengirim perintah. Untuk mengetahui informasi selengkapnya, lihat Menetapkan izin yang diperlukan untuk mengaktifkan model Claude dan mengirim perintah.
9. Buka salah satu kartu model Model Garden berikut, lalu klik enable:
   • Buka kartu model Claude 3.5 Sonnet
   • Buka kartu model Claude 3 Opus
   • Buka kartu model Haiku 3 Clude
   • Buka kartu model Claude 3 Sonnet

Menggunakan Anthropic SDK

Anda dapat membuat permintaan API ke model Anthropic Claude menggunakan Anthropic Claude SDK. Untuk mempelajari lebih lanjut, lihat referensi berikut:

• Referensi API pesan Claude
• Library Anthropic Python API
• Library Anthropic Vertex AI TypeScript API

Lakukan panggilan streaming ke model Claude menggunakan Anthropic Vertex SDK

Contoh kode berikut menggunakan Anthropic Vertex SDK untuk melakukan panggilan streaming ke model Anthropic Claude.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

client = AnthropicVertex(region=region, project_id=project_id)
result = []

with client.messages.stream(
    model="claude-3-5-sonnet@20240620",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)
        result.append(text)

Membuat panggilan unary ke model Claude menggunakan Anthropic Vertex SDK

Contoh kode berikut menggunakan Anthropic Vertex SDK untuk melakukan panggilan unary ke model Anthropic Claude.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex

client = AnthropicVertex(region=region, project_id=project_id)
message = client.messages.create(
    model="claude-3-5-sonnet@20240620",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
)
print(message.model_dump_json(indent=2))

Menggunakan perintah curl

Anda dapat menggunakan perintah curl untuk membuat permintaan ke endpoint Vertex AI. Perintah curl menentukan model Anthropic Claude yang didukung yang ingin Anda gunakan.

Sebaiknya gunakan versi model Claude Antropik yang menyertakan akhiran yang dimulai dengan simbol @ (seperti claude-3-5-sonnet@20240620 atau claude-3-haiku@20240307) karena kemungkinan perbedaan di antara berbagai versi model. Jika Anda tidak menentukan versi model, versi terbaru akan selalu digunakan, yang dapat secara tidak sengaja memengaruhi alur kerja Anda saat versi model berubah.

Topik berikut menunjukkan cara membuat perintah curl dan menyertakan contoh perintah curl.

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict

{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": STREAM
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content

{
  "id":"msg_012NDLxqh6LsztWCU7zTb14C",
  "type":"message",
  "role":"assistant",
  "content":[{
    "type":"text",
    "text":"Hello! Nice to meet you."
  }],
  "model":"claude-2.1",
  "stop_reason":"end_turn",
  "stop_sequence":null,
  "usage":{
    "input_tokens":11,
    "output_tokens":11
  }
}

MODEL_ID="MODEL"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hello!"
  }],
  "max_tokens": 50,
  "stream": true}'

Penggunaan alat (panggilan fungsi)

Model Claude antropik mendukung alat dan panggilan fungsi untuk meningkatkan kemampuan model. Untuk mengetahui informasi selengkapnya, lihat Ringkasan penggunaan alat dalam dokumentasi Anthropic.

Contoh berikut menunjukkan cara menggunakan alat dengan menggunakan perintah Anthropic SDK atau curl. Contoh ini menelusuri restoran terdekat di San Francisco yang saat ini buka.

# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

from anthropic import AnthropicVertex


def tool_use(project_id: str, region: str) -> object:
    client = AnthropicVertex(region=region, project_id=project_id)
    message = client.messages.create(
        model="claude-3-5-sonnet@20240620",
        max_tokens=1024,
        tools=[
            {
                "name": "text_search_places_api",
                "description": "returns information about a set of places based on a string",
                "input_schema": {
                    "type": "object",
                    "properties": {
                        "textQuery": {
                            "type": "string",
                            "description": "The text string on which to search",
                        },
                        "priceLevels": {
                            "type": "array",
                            "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
                        },
                        "openNow": {
                            "type": "boolean",
                            "description": "whether those places are open for business.",
                        },
                    },
                    "required": ["textQuery"],
                },
            }
        ],
        messages=[
            {
                "role": "user",
                "content": "What are some affordable and good Italian restaurants open now in San Francisco??",
            }
        ],
    )
    print(message.model_dump_json(indent=2))
    return message

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict

{
  "anthropic_version": "vertex-2023-10-16",
  "max_tokens": MAX_TOKENS,
  "stream": STREAM,
  "tools": [
    {
      "name": "text_search_places_api",
      "description": "Returns information about a set of places based on a string",
      "input_schema": {
        "type": "object",
        "properties": {
          "textQuery": {
            "type": "string",
            "description": "The text string on which to search"
          },
          "priceLevels": {
            "type": "array",
            "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
          },
          "openNow": {
            "type": "boolean",
            "description": "Describes whether a place is open for business at
            the time of the query."
          },
        },
        "required": ["textQuery"]
      }
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": "What are some affordable and good Italian restaurants that are open now in San Francisco??"
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

{
  "id": "msg_vrtx_01ErR7VMNQdnvDt3n7Nmc4ER",
  "type": "message",
  "role": "assistant",
  "model": "claude-3-opus-20240229",
  "content": [
    {
      "type": "text",
      "text": "\nTo find affordable and good Italian restaurants that are currently open in San Francisco, the text_search_places_api tool seems most relevant. \n\nThe required textQuery parameter can be inferred as \"Italian restaurants in San Francisco\", since the user specified Italian restaurants and the location of San Francisco.\n\nTwo optional parameters are also relevant:\nopenNow - this should be set to true, since the user specified they want restaurants open now\npriceLevels - to find affordable restaurants, this can be set to [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE]\n\nWith the textQuery provided and the two optional parameters that can help narrow the results to match the user's criteria, we have enough information to make a good call to the text_search_places_api tool to try to answer the user's request.\n"
    },
    {
      "type": "tool_use",
      "id": "toolu_vrtx_01TAJCTkxe8HhRoaQ69N4ouP",
      "name": "text_search_places_api",
      "input": {
        "textQuery": "Italian restaurants in San Francisco",
        "openNow": true,
        "priceLevels": [
          "PRICE_LEVEL_INEXPENSIVE",
          "PRICE_LEVEL_MODERATE"
        ]
      }
    }
  ],
  "stop_reason": "tool_use",
  "stop_sequence": null,
  "usage": {
    "input_tokens": 727,
    "output_tokens": 308
  }
}

Ketersediaan region Claude antropik

• us-east5 (Ohio)
• europe-west1 (Belgium)

• us-east5 (Ohio)

• us-central1 (Iowa)
• us-east5 (Ohio)
• europe-west1 (Belgium)
• europe-west4 (Netherlands)

• us-central1 (Iowa)
• us-east5 (Ohio)
• asia-southeast1 (Singapore)

Kuota Claude antropik dan panjang konteks yang didukung

Untuk model Claude, kuota berlaku untuk setiap region tempat model tersedia. Kuota ditentukan dalam kueri per menit (QPM) dan token per menit (TPM). TPM mencakup token masukan dan {i>output<i}.

Batas kuota default dan panjang konteks yang didukung untuk Claude 3.5 Sonnet adalah:

Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Opus adalah:

Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Haiku adalah:

Batas kuota default dan panjang konteks yang didukung untuk Claude 3 Sonnet adalah:

Jika ingin meningkatkan kuota untuk AI Generatif di Vertex AI, Anda dapat menggunakan Konsol Google Cloud untuk meminta penambahan kuota. Untuk mempelajari kuota lebih lanjut, lihat Bekerja dengan kuota.

Mengaktifkan model Claude untuk pengguna

Agar pengguna dapat mengaktifkan model Anthropic Claude dan membuat permintaan perintah, administrator harus menetapkan izin yang diperlukan dan memverifikasi kebijakan organisasi agar dapat menggunakan API yang diperlukan.

Menetapkan izin yang diperlukan

Peran dan izin berikut diperlukan untuk menggunakan model Anthropic Claude:

1. Pengguna harus diberi peran Consumer Procurement Entitlement Manager Identity and Access Management (IAM). Setiap pengguna yang diberi peran ini dapat mengaktifkan model Anthropic Claude di Model Garden.

2. Pengguna harus diberi izin aiplatform.endpoints.predict. Izin ini disertakan dalam peran IAM Pengguna Vertex AI. Untuk mengetahui informasi selengkapnya, lihat Pengguna Vertex AI dan Kontrol akses.

Menetapkan kebijakan organisasi

Untuk mengaktifkan model Anthropic Claude, kebijakan organisasi mengizinkan penggunaan API berikut:

• Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
• API Perjanjian Commerce - commerceagreement.googleapis.com

Jika organisasi Anda menetapkan kebijakan organisasi untuk membatasi penggunaan layanan, administrator organisasi harus memverifikasi bahwa cloudcommerceconsumerprocurement.googleapis.com dan commerceagreement.googleapis.com diizinkan dengan menetapkan kebijakan organisasi.