购买前要考虑的事项
在决定是否要购买预配吞吐量时,请考虑以下事项:
您无法在订阅期内取消订阅。
预配吞吐量购买交易属于承诺,这意味着您无法在订阅期内取消订单。不过,您可以增加购买的 GSU 数量。如果您无意中购买了承诺,或者配置出现问题,请与您的Google Cloud 客户代表联系以获取帮助。
您可以自动续订订阅。
提交订单时,您可以选择在订阅期结束时自动续订订阅,也可以让订阅到期。您可以取消自动续订流程。如需在自动续订前取消订阅,请在下一个订阅期开始前 30 天取消自动续订。
您可以将按月订阅配置为每月自动续订。 按周订阅期不支持自动续订。
如需了解详情,请参阅更改预配吞吐量订单。您还可以与您的 Google Cloud 客户代表联系以获取帮助。
您可以更改自动续订行为、模型、模型版本或区域,但需事先通知我们。
在您选择项目、区域、模型、模型版本和自动续订行为,并且订单获得批准和激活后,预配吞吐量便会启用,但需视可用容量而定。 您可以使用 Google Cloud 控制台修改现有预置吞吐量订单,以更改自动续订行为、模型、模型版本或区域。
我们会尽力处理所有更改请求,通常在初次请求后的 10 个工作日内完成。
模型更改仅限于特定发布商。例如,您可以将预配吞吐量的模型分配从 Google Gemini 2.0 Pro 切换到 Google Gemini 2.0 Flash,但无法从 Google Gemini 2.0 Flash 切换到 Anthropic 的 Claude 3.5 Sonnet v2。
默认情况下,超额费用以随用随付形式结算。
如果您的吞吐量超出预配吞吐量订单金额,超出部分将按标准随用随付方式处理和结算。您可以按请求控制超额费用。如需了解详情,请参阅使用预配吞吐量。
如需了解价格,请参阅预配吞吐量。
为预览版模型购买预配吞吐量
您可以为预览版 Google 模型购买预配置吞吐量,前提是该模型的正式版尚未发布。
如果您为预览版模型订购了有效的预配吞吐量,并且该模型的正式版已发布,那么您可以执行以下任一操作:
将订单迁移到正式版模型。请注意,将订单迁移到正式版模型后,您无法再将订单切换回预览版模型。如需详细了解如何更改订单,请参阅更改预配吞吐量订单。
或者,只要模型的预览版稳定,就可以继续为该预览版使用预配吞吐量。如需详细了解稳定版模型和已弃用的模型,请参阅模型版本和生命周期。
角色与权限
以下角色授予了对 Vertex AI 预配吞吐量的完整管理权限:
roles/aiplatform.provisionedThroughputAdmin
:您可以访问 Vertex AI 预配吞吐量资源。
此角色可提供以下权限:
权限 | 说明 |
---|---|
aiplatform.googleapis.com/provisionedThroughputs.create |
提交新的预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.get |
查看特定预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.list |
查看所有预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.update |
修改预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.cancel |
取消待处理的订单或待处理的更新。 |
下达预配的吞吐量订单
部分 Imagen 功能可能尚未公开发布。如需了解详情,请参阅受限的正式版和预览版功能。
在您下单以使用 MedLM-large-1.5 之前,请与您的 Google Cloud 客户代表联系,以申请访问权限。
如果您预期自己的 QPM 会超过 30,000,那么为了最大限度地利用预配吞吐量订单,请使用以下信息请求调整配额,以调整默认 Vertex AI 系统配额:
- 服务:Vertex AI API。
- 名称:
Online prediction requests per minute per region
- 服务类型:配额。
- 维度:您订购预配吞吐量的区域。
- 值:这是您选择的在线预测流量上限。
系统会根据订单大小和可用容量来处理预配吞吐量订单。处理您的订单可能需要几分钟到几周时间,具体取决于您申请的 GSU 数量和可用容量。
如需购买预配吞吐量,请按以下步骤操作:
控制台
- 在 Google Cloud 控制台中,前往“预配吞吐量”页面。
- 如需开始新订单,请点击新订单。
- 输入订单名称。
- 选择模型。
- 选择地区。
输入您必须购买的生成式 AI 扩缩单元 (GSU) 的数量。
(可选)您可以使用生成式 AI 扩缩单元估算工具来估算所需的 GSU 数量。如需使用此工具,请执行以下操作:
- 点击估算工具。
- 选择模型。
根据所选模型,输入详细信息以估算所需的 GSU 数量。
对于 Gemini 2.5 模型,请输入以下内容:
- 每秒需要保证的查询次数估算值
- 每次查询的输入文本 token 数
- 每次查询的输入图片 token 数
- 每次查询的输入视频 token 数
- 每次查询的输入音频 token 数
- 每次查询的输出回答文本 token 数
- 每次查询的输出推理文本 token 数
对于 Gemini 2.5 Flash-Lite(预览版)模型,请输入以下内容:
- 每秒需要保证的查询次数估算值
- 每次查询的输入文本 token 数
- 每次查询的输入图片 token 数
- 每次查询的输入视频 token 数
- 每次查询的输入音频 token 数
- 每次查询的输出文本 token 数
对于 Gemini 2.0 模型,请输入以下内容:
- 每秒需要保证的查询次数估算值
- 每次查询的输入 token 数
- 每次查询的输入图片 token 数
- 每次查询的输入视频 token 数
- 每次查询的输入音频 token 数
- 每次查询的输出文本 token 数
对于 Imagen 模型,请输入以下内容:
- 每秒查询次数
- 每次查询的输出图片数
如果您想使用在估算工具中输入的值,请点击使用计算值。
选择期限。请注意,在选定期限内,期限费用无法取消,并且无论实际用量是多少或该模型是否已停用,您都将支付这些费用。Google 建议您在已分配模型的终止日期之前更改该模型。对于停用的模型,Google 不会主动取消自动续订。
您可以使用以下选项:
- 1 周
- 1 个月
- 3 个月
- 1 年
可选:选择学期的开始日期和时间(预览版)。
您可以提供下单后两周内的开始日期和时间。如果您未指定开始日期和时间,我们会在容量可用时立即处理订单。我们会尽力按照所要求的开始日期和时间处理订单,但如果订单状态未设置为已批准,我们无法保证能够按照要求的时间履行订单。
如果您请求的开始日期与当前日期过于接近,您的订单可能会在您请求的开始日期之后获得批准并激活。在这种情况下,系统会根据所选期限的时长,从激活日期开始调整结束日期。如需了解如何取消待处理的订单,请参阅更改预配吞吐量订单。
在续订列表中,指定您是否希望在合约期结束时自动续订订单。只有在选择1 个月、3 个月或1 年作为期限时,您才能指定续订选项。
点击继续。
在摘要部分,查看订单的价格和吞吐量估算值。阅读表单中列出的条款及链接。
如需完成订单,请点击确认。
处理订单可能需要几分钟到几周时间,具体取决于订单规模和可用容量。订单处理完毕后, Google Cloud 控制台中的订单状态会变为有效。只有在订单生效后,您才需要为其付费。
更改预配吞吐量订单
下表介绍了如何根据订单状态和任何现有条件,通过 Google Cloud 控制台修改预配吞吐量订单。修改订单是一项预览版功能,仅适用于通过控制台在线提交的订单。如需更改线下订单,请与您的Google Cloud 客户代表联系以获取帮助。
此外,使用 Google Cloud 控制台对模型或模型版本所做的更改会修改现有订单,同时保持相同的订阅结束日期。
订单状态 | 操作 | 备注 | 在 Google Cloud 控制台中执行的步骤 |
---|---|---|---|
待审核 | 您可以取消订单。 |
如果您要对订单进行其他更改,请取消待处理订单,然后重新下单。 如果您有多个模型,则每个模型一次只能有一个待处理订单修订版本或待处理订单。 |
如需在 Google Cloud 控制台中取消待处理订单,请执行以下操作:
|
已批准 | 您无法修改订单。 | 相应订单正在等待激活。 您目前无法更改订单。 | 不适用 |
有效 |
只有在订单不会在未来 5 天内过期或会自动续订的情况下,您才能进行以下更改:
|
如果有效订单在不到 5 天内过期,且未设置为自动续订,您就无法更改该订单。 | 如需在 Google Cloud 控制台中更改有效订单,请使用以下方法之一:
|
检查订单状态
提交预配置吞吐量订单后,订单状态可能会显示为以下某项:
- 待审核:您已下单。由于批准取决于预留订单的空闲容量,因此您的订单正在等待审核和批准。如需详细了解待处理订单的状态,请与您的 Google Cloud 客户代表联系。
- 已批准:Google 已批准您的订单,但该订单正在等待激活。订单获得批准后,您将无法再进行更改。
- 有效:Google 已激活您的订单,计费已开始。
- 已过期:您的订单已过期。
查看预配吞吐量订单
请按照以下步骤查看预分配吞吐量的订单:
控制台
- 在 Google Cloud 控制台中,前往“预配吞吐量”页面。
- 选择地区。 系统会显示您的订单列表。