购买前要考虑的事项
在决定是否要购买预配吞吐量时,请考虑以下事项:
您无法在订阅期内取消订阅。
预配吞吐量购买交易属于承诺,这意味着您无法在订阅期内取消订单。不过,您可以增加购买的 GSU 数量。如果您无意中购买了承诺,或者配置出现问题,请与您的Google Cloud 客户代表联系以获取帮助。
您可以自动续订订阅。
提交订单时,您可以选择在订阅期结束时自动续订订阅,也可以让订阅到期。您可以取消自动续订流程。如需在自动续订前取消订阅,请在下一个订阅期开始前 30 天取消自动续订。
您可以将按月订阅配置为每月自动续订。按周订阅期不支持自动续订。
如需了解详情,请参阅更改预配吞吐量订单。您还可以与您的 Google Cloud 客户代表联系以获取帮助。
您可以更改自动续订行为、模型、模型版本或区域,但需事先通知我们。
在您选择项目、区域、模型、模型版本和自动续订行为,并且订单获得批准和激活后,预配吞吐量便会启用(具体取决于可用容量)。您可以使用 Google Cloud 控制台更改自动续订行为、模型或模型版本,该控制台还可用于修改现有订单。如需了解详情,请参阅更改预配吞吐量订单。
如需更改地区,请与您的 Google Cloud 客户代表联系以获取帮助。您可能需要重新下单,并设置新的订阅结束日期。
我们会尽力处理所有更改请求,通常在初次请求后的 10 个工作日内完成。
模型更改仅限于特定发布商。例如,您可以将预配吞吐量的模型分配从 Google Gemini 2.0 Pro 切换到 Google Gemini 2.0 Flash,但无法从 Google Gemini 2.0 Flash 切换到 Anthropic 的 Claude 3.5 Sonnet v2。
默认情况下,超额费用以随用随付形式结算。
如果您的吞吐量超出预配吞吐量订单金额,超出部分将按标准随用随付方式处理和结算。您可以按请求控制超额费用。如需了解详情,请参阅使用预配吞吐量。
购买一周期的预配吞吐量
您可以按一周期限购买预配吞吐量,而不是按月订阅,并且可以选择在下单后两周内的某个日期开始使用。为此,您需要提交预配吞吐量访问控制表单。
如需了解价格,请参阅预配吞吐量。
角色与权限
以下角色可授予管理 Vertex AI 预配吞吐量的完整访问权限:
roles/aiplatform.provisionedThroughputAdmin
:您可以访问 Vertex AI 预配吞吐量资源。
此角色可提供以下权限:
权限 | 说明 |
---|---|
aiplatform.googleapis.com/provisionedThroughputs.create |
提交新的预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.get |
查看特定的预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.list |
查看所有预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.update |
修改预配吞吐量订单。 |
aiplatform.googleapis.com/provisionedThroughputs.cancel |
取消待处理的订单或待处理的更新。 |
下达预配的吞吐量订单
部分 Imagen 功能可能尚未公开发布。如需了解详情,请参阅受限的正式版和预览版功能。
在您下单以使用 MedLM-large-1.5 之前,请与您的 Google Cloud 客户代表联系,以申请访问权限。如果您希望 QPM 超过 30,000,那么为了最大限度地利用预配吞吐量订单,请使用以下信息请求增加默认 Vertex AI 系统配额:
- 服务:Vertex AI API。
- 名称:
Online prediction requests per minute per region
- 服务类型:配额。
- 维度:您订购预配吞吐量的区域。
- 值:这是您选择的在线预测流量上限。
系统会根据订单大小和可用容量来处理预配吞吐量订单。处理您的订单可能需要几分钟到几周的时间,具体取决于请求的 GSU 数量和可用容量。
如需购买预配吞吐量,请按以下步骤操作:
控制台
- 在 Google Cloud 控制台中,前往“预配吞吐量”页面。
- 如需开始新订单,请点击新订单。
- 输入订单名称。
- 选择模型。
- 选择地区。
输入您必须购买的生成式 AI 扩缩单元 (GSU) 的数量。
可选:您可以使用生成式 AI 扩缩单元估算工具来估算所需的 GSU 数量。如需使用此工具,请执行以下操作:
- 点击估算工具。
- 选择模型。
根据所选模型,输入详细信息以估算所需的 GSU 数量。
对于 Gemini 2.0 模型,请输入以下内容:
- 每秒需要保证的查询次数估算值
- 每次查询的输入 token 数
- 每次查询的输入图片 token 数
- 每次查询的输入视频 token 数
- 每次查询的输入音频 token 数
- 每次查询的输出文本 token 数
对于 Imagen 模型,请输入以下内容:
- 每秒查询次数
- 每次查询的输出图片数
如果您想使用在估算工具中输入的值,请点击使用计算值。
选择期限。您可以使用以下选项:
- 1 周(非公开预览版提供)
- 1 个月
- 3 个月
- 1 年
可选:选择学期的开始日期和时间(预览版)。
您可以提供下单后两周内的开始日期和时间。如果您未指定开始日期和时间,系统会在容量可用时尽快处理订单。我们会尽力按照所要求的开始日期和时间处理订单,但如果订单状态未设置为已批准,我们无法保证能够按照要求的时间履行订单。
如果您请求的开始日期与当前日期过于接近,您的订单可能会在您请求的开始日期之后获得批准并激活。在这种情况下,系统会根据所选期限(从激活日期开始)调整结束日期。如需了解如何取消待处理的订单,请参阅更改预配吞吐量订单。
在续订列表中,指定您是否希望在订单到期后自动续订。只有在您选择 1 个月、3 个月或 1 年作为期限时,才能指定续订选项。
点击继续。
在摘要部分,查看订单的价格和吞吐量估算值。阅读表单中列出的条款及链接。
如需完成订单,请点击确认。
处理订单可能需要几分钟到几周的时间,具体取决于订单大小和可用容量。订单处理完毕后,其在 Google Cloud 控制台中的状态会变为有效。只有在订单生效后,您才需要为其付费。
更改预配吞吐量订单
下表介绍了如何根据订单状态和任何现有条件,通过 Google Cloud 控制台修改预配吞吐量订单。修改订单是一项预览版功能,仅适用于通过控制台下单的在线订单。如需更改线下订单,请与您的 Google Cloud 客户代表联系以寻求帮助。
此外,使用 Google Cloud 控制台对模型或模型版本所做的更改会修改现有订单,同时保持订阅结束日期不变。
订单状态 | 操作 | 备注 | 在 Google Cloud 控制台中执行的步骤 |
---|---|---|---|
待审核 | 您可以取消订单。 |
如果您要对订单进行其他更改,请取消待处理订单,然后重新下单。 如果您有多个模型,则每个模型一次只能有一个待处理订单修订版本或待处理订单。 |
如需在 Google Cloud 控制台中取消待处理订单,请执行以下操作:
|
有效 |
您可以增加现有订单的 GSU。 您可以启用或停用自动续订。 您可以更改模型或模型版本。 |
如果同时满足以下两个条件,则无法更改订单:
|
如需在 Google Cloud 控制台中更改有效订单,请使用以下方法之一:
|
检查订单状态
提交预配置吞吐量订单后,订单状态可能会显示为以下某项:
- 待审核:您已下单。由于批准取决于预留订单的空闲容量,因此您的订单正在等待审核和批准。如需详细了解待处理订单的状态,请与您的 Google Cloud 客户代表联系。
- 已批准:Google 已批准您的订单。
- 有效:Google 已激活您的订单,计费已开始。
- 已过期:您的订单已过期。
查看预配吞吐量订单
请按照以下步骤查看预分配吞吐量的订单:
控制台
- 在 Google Cloud 控制台中,前往“预配吞吐量”页面。
- 选择地区。 系统会显示您的订单列表。