Vertex AI 推論 API 錯誤的生成式 AI

本指南列出使用生成式 AI 的模型 API 參考資料時可能遇到的錯誤。這些錯誤會遵循 Google Cloud API 的錯誤模型,因此我們建議您參考相關指南,瞭解產生式 AI 模型的具體原因和解決方法。

API 錯誤

下表列出 API 錯誤代碼和說明。

HTTP 錯誤代碼 標準化錯誤代碼 原因 範例 解決方案
400 INVALID_ARGUMENT / FAILED_PRECONDITION 要求無法通過 API 驗證,或是您嘗試存取需要加入許可清單的模型,或是機構政策禁止存取該模型。 要求超出模型的輸入符號限制。 如需要求參數、符記數和其他參數的相關資訊,請參閱 生成式 AI 的模型 API 參考資料
403 PERMISSION_DENIED 用戶端權限不足,無法呼叫 API。 服務帳戶沒有存取代管相片或影片資源的 Cloud Storage 值區的權限。 1. 確認已啟用所有必要的 API,且服務帳戶具備存取所選 Vertex AI 服務的權限

2. Vertex AI 每項產品、每個專案的服務帳戶 (P4SA) 會獲得必要權限,可存取輸入內容中參照的資源。
404 NOT_FOUND 在指定網址中找不到有效的物件。 儲存網址中找不到圖片檔案。 檢查並修正檔案位置。
429 RESOURCE_EXHAUSTED 視錯誤訊息而定,錯誤可能由下列原因造成:

1. API 配額超過上限。

2. 共用伺服器容量導致伺服器超載。

3. 您已達到使用 logprobs 的每日要求次數上限。
Gemini API 超過每分鐘要求數上限。 1. 請查看 Vertex AI 生成式 AI 配額限制。如有需要,請申請更多配額。

2. 請稍候幾秒鐘後再試一次。如果錯誤持續發生一段很長的時間 (數小時),請與 Vertex AI 支援團隊聯絡。
499 CANCELLED 用戶端已取消要求。
500 UNKNOWN / INTERNAL 因超載或依附元件失敗而發生的伺服器錯誤。 服務暫時超載,因此要求受到限制。 請稍候幾秒鐘後再試一次。如果錯誤持續發生一段很長的時間 (數小時),請與 Vertex AI 支援團隊聯絡。
503 UNAVAILABLE 服務暫時無法使用。 伺服器沒有回應傳入的要求。 無法使用狀態可能只是暫時的。不過,如果錯誤持續發生,請與 Vertex AI 支援團隊聯絡。
504 DEADLINE_EXCEEDED 用戶端設定的期限短於伺服器的預設期限 (10 分鐘),且要求未在用戶端提供的期限內完成。 建議您延長客戶提供的期限。

處理錯誤

避免流量激增。尖峰是指在極短時間內,要求數量突然大幅增加的情況。有時,流量激增可能會導致配額執行問題,並增加伺服器超載的機率。

請謹慎重試事件。建議重試次數不要超過兩次。最短延遲時間為一秒,後續要求的延遲時間會以指數方式增加。

後續步驟