提示快取

Anthropic Claude 模型提供提示快取功能，在多個要求中重複使用相同內容時，可減少延遲時間和成本。傳送查詢時，您可以快取所有或特定部分的輸入內容，以便後續查詢使用先前要求的快取結果。這樣可避免額外的運算和網路費用。快取是專案專屬的 Google Cloud ，其他專案無法使用。

如要進一步瞭解如何建構提示，請參閱 Anthropic 的「提示快取」說明文件。

支援的 Anthropic Claude 模型

Vertex AI 支援下列 Anthropic Claude 模型的提示快取：

資料處理

Anthropic 顯式提示快取是 Anthropic Claude 模型的一項功能。這些 Anthropic 模型在 Vertex AI 中的運作方式，請參閱 Anthropic 說明文件。

提示快取是選用功能。Claude 會計算要求雜湊 (指紋) 做為快取鍵。只有啟用快取的請求才會計算這些雜湊值。

雖然提示快取是 Claude 模型實作的功能，但從資料處理的角度來看，Google 會將這些雜湊視為一種「使用者中繼資料」。根據《Google Cloud隱私權聲明》，這些資料屬於客戶「服務資料」，而非《Cloud 資料處理附加條款 (客戶)》所指的「客戶資料」。具體來說，針對「客戶資料」的額外保護措施不適用於這些雜湊值。Google 不會將這些雜湊值用於其他用途。

如要完全停用這項提示快取功能，並在特定 Google Cloud 專案中停用，請聯絡客戶支援團隊並提供相關專案編號。為專案停用明確快取後，系統會拒絕專案中啟用提示快取的要求。

使用提示快取

您可以使用 Anthropic Claude SDK 或 Vertex AI REST API，將要求傳送至 Vertex AI 端點。

詳情請參閱「提示快取的運作方式」。

如需其他範例，請參閱 Anthropic 說明文件中的「提示快取範例」。

後續要求包含與第一個要求相同的文字、圖片和 cache_control 參數時，系統就會自動快取。所有要求也必須在相同區塊中加入 cache_control 參數。

快取的生命週期為五分鐘。每次存取快取內容時，系統都會重新整理。

定價

提示快取可能會影響帳單費用。注意事項：

  • 快取寫入權杖的費用比基本輸入權杖高出 25%
  • 快取讀取權杖的價格比基本輸入權杖便宜 90%
  • 一般輸入和輸出權杖的價格為標準費率

詳情請參閱定價頁面。