本文档介绍了 Hyperdisk ML 的功能,它是所有 Google Cloud Hyperdisk 类型中吞吐量最高的类型。Google 建议将 Hyperdisk ML 用于机器学习,以及需要在不可变数据集上实现高读取吞吐量的工作负载。Hyperdisk ML 提供的高吞吐量可缩短数据加载时间、减少加速器空闲时间并降低计算费用。
对于大型推理、训练和 HPC 工作负载,您可以在只读模式下将单个 Hyperdisk ML 卷挂接到多个计算实例。
您可以为单个 Hyperdisk ML 卷指定高达 19,200,000 MiB/s 的吞吐量。您无法预配 IOPS 级别,但每 MiB/s 的预配吞吐量都附带 16 IOPS,最多可达 19,200,000 IOPS。
如需详细了解 Hyperdisk 及其他 Hyperdisk 类型,请参阅 Hyperdisk 简介。
如需创建新的 Hyperdisk ML 卷,请参阅创建 Hyperdisk 卷。
使用场景
Hyperdisk ML 非常适合以下使用场景:
- HPC 工作负载
- 机器学习
- 加速器优化型工作负载
机器系列支持
您可以将 Hyperdisk ML 与以下机器系列搭配使用:
预配性能简介
创建 Hyperdisk 卷时,您无需预配性能。如果您未预配性能,Compute Engine 会使用默认值创建卷,您稍后可以对这些值进行修改。如需详细了解默认值,请参阅默认 IOPS 和吞吐量值。
如果您知道自己的性能需求,可以在创建 Hyperdisk ML 卷时为其指定 IOPS 和吞吐量限制,也可以在创建卷后更改预配的值。如果您未指定大小,则无法指定 IOPS 或吞吐量级别。
大小和性能限制
以下限制适用于您可以为 Hyperdisk ML 卷指定的大小、吞吐量和 IOPS 值。
大小:介于 4 GiB 到 64 TiB 之间。 默认大小为 100 GiB。
吞吐量:介于 400 MiB/s 到 1,200,000 MiB/s 之间,并受以下限制:
- 最低吞吐量:对于 6-3,341 GiB 的卷,最低吞吐量为 400 MiB/s。对于大于 3,342 GiB 的卷,最低吞吐量介于 401-7,680 MiB/s 之间。
- 最大吞吐量:对于大于 750 GiB 的卷,最大吞吐量为 1,200,000 MiB/s。对于小于 4-749 GiB 的卷,最大吞吐量因大小而异。如需查看示例,请参阅预配吞吐量的限制。
IOPS:您无法为 Hyperdisk ML 卷指定 IOPS 限制。相反,预配的 IOPS 取决于预配的吞吐量。每个 Hyperdisk ML 卷每 MiB/s 预配 16 IOPS,最高可达 19,200,000 IOPS。
预配吞吐量的限制
下表列出了常见卷大小的预配吞吐量限制。如果未列出某个大小,请使用以下公式计算允许的值,其中 x
是卷的大小(以 GiB 为单位):
- 可配置的最低吞吐量:
MAX (400, 0.12x)
- 可配置的最大吞吐量:
MIN (1200000, 1600x)
大小 | 最小吞吐量 | 最大吞吐量 |
---|---|---|
4 | 400 | 6,400 |
10 | 400 | 16,000 |
50 | 400 | 80000 |
64 | 400 | 102,400 |
100 | 400 | 160,000 |
300 | 400 | 480,000 |
500 | 400 | 80 万 |
1000 | 400 | 1200000 |
5000 | 600 | 1200000 |
25000 | 3000 | 1200000 |
64,000 | 7680 | 1200000 |
默认 IOPS 和吞吐量值
如果您在创建 Hyperdisk ML 卷时未指定 IOPS 或吞吐量限制,Compute Engine 会分配默认值。分配的值基于以下公式,其中 x
是卷的大小(以 GiB 为单位)。
- 默认吞吐量:
MAX (24x, 400)
MiB/s - 默认大小:100 GiB
更改预配的性能或大小
您可以每 4 小时更改一次预配大小,每 6 小时更改一次吞吐量。如需了解如何修改大小或性能,请参阅修改 Hyperdisk 卷。
附加到实例时的性能限制
本部分列出了 Hyperdisk ML 的性能限制。您可以为单个 Hyperdisk ML 卷指定高达 19,200,000 MiB/s 的吞吐量。您无法预配 IOPS 级别,但每 MiB/s 的预配吞吐量都附带 16 IOPS,最多可达 19,200,000 IOPS。
下表列出了 Hyperdisk ML 卷可为每个受支持的实例实现的最大性能。Hyperdisk ML 卷在挂接到实例后,其性能不能超过实例机器类型的限制。性能限制也会在挂接到同一实例的所有 Hyperdisk ML 卷之间共享,无论每个卷的预配性能如何。
需要多个实例才能达到预配性能的场景
Hyperdisk ML 卷的预配吞吐量会在该卷挂接到的每个实例之间共享,最高可达下表中所列机器类型的上限。如果 Hyperdisk ML 卷的预配性能高于实例的性能限制,则只有将该卷挂接到多个实例时,它才能达到预配的性能。a3-ultragpu-8
实例的吞吐量上限为 4,000 MiB/s。
例如,假设您有一个预配了 500,000 MiB/s 吞吐量的 Hyperdisk ML 卷,并且您想将该卷挂接到 a3-ultragpu-8
实例。单个 a3-ultragpu-8
实例的吞吐量不能超过 4,000 MiB/s。因此,为了实现卷的预配吞吐量,您必须将该卷挂接到至少 125 (500,000/4,000) 个 a3-ultragpu-8
实例。另一方面,对于 a2-highgpu-1g
机器类型,您需要 272 个实例。
实例机器类型 | 最大 IOPS | 最大吞吐量 (MiB/s) |
---|---|---|
a2-*-1g |
1800 | 28,800 |
a2-*-2g |
2400 | 38,400 |
a2-*-4g |
2400 | 38,400 |
a2-*-8g |
2400 | 38,400 |
a2-megagpu-16g |
2400 | 38,400 |
a3-*-1g |
1800 | 28,800 |
a3-*-2g |
2400 | 38,400 |
a3-*-4g |
2400 | 38,400 |
a3-*-8g (在只读模式下)1 |
4000 | 64,000 |
a3-*-8g (读写模式下)1 |
2400 | 38,400 |
c3-*-4 |
400 | 6,400 |
c3-*-8 |
800 | 12,800 |
c3-*-22 |
1800 | 28,800 |
c3-*-44 |
2400 | 38,400 |
c3-*-88 |
2400 | 38,400 |
c3-*-176 |
2400 | 38,400 |
c3-*-192 |
2400 | 38,400 |
c3d-*-4 |
400 | 6,400 |
c3d-*-8 |
800 | 12,800 |
c3d-*-16 |
1200 | 19,200 |
c3d-*-30 |
1200 | 19,200 |
c3d-*-60 |
2400 | 38,400 |
c3d-*-90 |
2400 | 38,400 |
c3d-*-180 |
2400 | 38,400 |
c3d-*-360 |
2400 | 38,400 |
ct6e-standard-1t |
1200 | 19,200 |
ct6e-standard-4t |
1800 | 28,800 |
ct6e-standard-8t |
1800 | 28,800 |
g2-standard-4 |
800 | 12,800 |
g2-standard-8 |
1200 | 19,200 |
g2-standard-12 |
1800 | 28,800 |
g2-standard-16 |
2400 | 38,400 |
g2-standard-24 |
2400 | 38,400 |
g2-standard-32 |
2400 | 38,400 |
g2-standard-48 |
2400 | 38,400 |
g2-standard-96 |
2400 | 38,400 |
1 对于 a3-*-8g
实例,性能取决于 Hyperdisk ML 卷是以只读模式还是读写模式挂接到实例。
Hyperdisk ML 的区域可用性
Hyperdisk ML 在以下区域和可用区提供:
区域 | 适用可用区 |
---|---|
台湾彰化—asia-east1 |
asia-east1-a |
asia-east1-b |
|
asia-east1-c |
|
日本东京—asia-northeast1 |
asia-northeast1-a |
asia-northeast1-b |
|
asia-northeast1-c |
|
韩国首尔—asia-northeast3 |
asia-northeast3-a |
asia-northeast3-b |
|
新加坡裕廊西—asia-southeast1 |
asia-southeast1-a |
asia-southeast1-b |
|
asia-southeast1-c |
|
印度孟买—asia-south1 |
asia-south1-b |
asia-south1-c |
|
比利时圣吉斯兰—europe-west1 |
europe-west1-b |
europe-west1-c |
|
英国伦敦—europe-west2 |
europe-west2-a |
europe-west2-b |
|
europe-west3-b |
|
荷兰埃姆斯哈文—europe-west4 |
europe-west4-a |
europe-west4-b |
|
europe-west4-c |
|
瑞士苏黎世—europe-west6 |
europe-west6-b |
europe-west6-c |
|
以色列特拉维夫—me-west1 |
me-west1-b |
me-west1-c |
|
爱荷华州,康瑟尔布拉夫斯—us-central1 |
us-central1-a |
us-central1-b |
|
us-central1-c |
|
us-central1-f |
|
南卡罗来纳州,蒙克斯科纳—us-east1 |
us-east1-b |
us-east1-c |
|
us-east1-d |
|
弗吉尼亚州,阿什本—us-east4 |
us-east4-a |
us-east4-b |
|
us-east4-c |
|
俄亥俄州,哥伦布—us-east5 |
us-east5-a |
us-east5-b |
|
us-east5-c |
|
德克萨斯州达拉斯—us-south1 |
us-south1-a |
俄勒冈州,达尔斯—us-west1 |
us-west1-a |
us-west1-b |
|
us-west1-c |
|
犹他州,盐湖城—us-west3 |
us-west3-b |
内华达州,拉斯维加斯—us-west4 |
us-west4-a |
us-west4-b |
|
us-west4-c |
Hyperdisk ML 卷的灾难恢复
您可以使用标准快照备份 Hyperdisk ML 卷。快照可备份 Hyperdisk ML 卷在特定时间点的数据。
跨可用区复制
您无法将 Hyperdisk ML 卷复制到其他可用区。如需将数据复制到同一区域内的其他可用区,您必须使用 Hyperdisk Balanced 高可用性卷。
在虚拟机之间共享 Hyperdisk ML 卷
对于经过加速器优化的机器学习工作负载,您可以将同一 Hyperdisk ML 卷挂接到多个实例。这样,您就可以从多个虚拟机同时对单个卷进行只读访问。这比使用多个包含相同数据的磁盘更加经济实惠。
在虚拟机之间共享磁盘不会产生任何额外费用。将只读模式下的磁盘挂接到多个虚拟机不会影响该磁盘的性能。每个虚拟机仍可达到虚拟机的机器系列可实现的磁盘性能上限。
在虚拟机之间共享 Hyperdisk ML 的限制
- Hyperdisk ML 卷不支持多写入者模式;如果 Hyperdisk ML 卷处于只读模式,您可以在多个实例之间共享该卷。
- Hyperdisk ML 卷无法以只读模式挂接到单个实例。
- 如果您共享只读模式下的 Hyperdisk ML 卷,则无法重新启用对磁盘的写入权限。
- 每 30 秒可以将 Hyperdisk ML 卷挂接到最多 100 个实例。
- 对于 Hyperdisk ML 卷,实例数量上限取决于 预配大小,如下所示:
- 卷大小小于 256 GiB:2,500 个虚拟机
- 容量至少为 256 GiB 且小于 1 TiB 的卷:1,500 个虚拟机
- 容量至少为 1 TiB 且小于 2 TiB 的卷:600 个虚拟机
- 容量至少为 2 TiB 的卷:30 个虚拟机
如果卷挂接到超过 20 个虚拟机,则您必须为每个虚拟机至少预配 100 MiB/s 的吞吐量。例如,如果您将磁盘挂接到 500 个虚拟机,则必须为该卷预配至少 50,000 MiB/s 的吞吐量。
如需了解详情,请参阅 Hyperdisk 的只读模式。
价格
您需要支付 Hyperdisk ML 卷的总预配吞吐量的费用,直到您将其删除。即使卷未附加到任何实例,或者实例已暂停或停止,也需要支付费用。如需了解详情,请参阅磁盘价格。
限制
- Hyperdisk ML 卷是可用区级的,只能从创建卷的可用区访问。
- 您无法通过 Hyperdisk 卷创建机器映像。
- 您无法通过 Hyperdisk ML 卷创建即时快照。
- 您不能将 Hyperdisk ML 用作启动磁盘。
- 您无法通过快照或磁盘映像以读写单次模式创建 Hyperdisk ML 磁盘。您必须以只读-多模式创建该磁盘。
- 您可以每 4 小时更改一次 Hyperdisk ML 卷的大小,每 6 小时更改一次其吞吐量。