Hyperdisk ML 简介


本文档介绍了 Hyperdisk ML 的功能,它是所有 Google Cloud Hyperdisk 类型中吞吐量最高的类型。Google 建议将 Hyperdisk ML 用于机器学习,以及需要在不可变数据集上实现高读取吞吐量的工作负载。Hyperdisk ML 提供的高吞吐量可缩短数据加载时间、减少加速器空闲时间并降低计算费用。

对于大型推理、训练和 HPC 工作负载,您可以在只读模式下将单个 Hyperdisk ML 卷挂接到多个计算实例。

您可以为单个 Hyperdisk ML 卷指定高达 19,200,000 MiB/s 的吞吐量。您无法预配 IOPS 级别,但每 MiB/s 的预配吞吐量都附带 16 IOPS,最多可达 19,200,000 IOPS。

如需详细了解 Hyperdisk 及其他 Hyperdisk 类型,请参阅 Hyperdisk 简介

如需创建新的 Hyperdisk ML 卷,请参阅创建 Hyperdisk 卷

使用场景

Hyperdisk ML 非常适合以下使用场景:

  • HPC 工作负载
  • 机器学习
  • 加速器优化型工作负载

机器系列支持

您可以将 Hyperdisk ML 与以下机器系列搭配使用:

预配性能简介

创建 Hyperdisk 卷时,您无需预配性能。如果您未预配性能,Compute Engine 会使用默认值创建卷,您稍后可以对这些值进行修改。如需详细了解默认值,请参阅默认 IOPS 和吞吐量值

如果您知道自己的性能需求,可以在创建 Hyperdisk ML 卷时为其指定 IOPS 和吞吐量限制,也可以在创建卷后更改预配的值。如果您未指定大小,则无法指定 IOPS 或吞吐量级别。

大小和性能限制

以下限制适用于您可以为 Hyperdisk ML 卷指定的大小、吞吐量和 IOPS 值。

  • 大小:介于 4 GiB 到 64 TiB 之间。 默认大小为 100 GiB。

  • 吞吐量:介于 400 MiB/s 到 1,200,000 MiB/s 之间,并受以下限制:

    • 最低吞吐量:对于 6-3,341 GiB 的卷,最低吞吐量为 400 MiB/s。对于大于 3,342 GiB 的卷,最低吞吐量介于 401-7,680 MiB/s 之间。
    • 最大吞吐量:对于大于 750 GiB 的卷,最大吞吐量为 1,200,000 MiB/s。对于小于 4-749 GiB 的卷,最大吞吐量因大小而异。如需查看示例,请参阅预配吞吐量的限制
  • IOPS:您无法为 Hyperdisk ML 卷指定 IOPS 限制。相反,预配的 IOPS 取决于预配的吞吐量。每个 Hyperdisk ML 卷每 MiB/s 预配 16 IOPS,最高可达 19,200,000 IOPS。

预配吞吐量的限制

下表列出了常见卷大小的预配吞吐量限制。如果未列出某个大小,请使用以下公式计算允许的值,其中 x 是卷的大小(以 GiB 为单位):

  • 可配置的最低吞吐量:MAX (400, 0.12x)
  • 可配置的最大吞吐量:MIN (1200000, 1600x)
大小 最小吞吐量 最大吞吐量
4 400 6,400
10 400 16,000
50 400 80000
64 400 102,400
100 400 160,000
300 400 480,000
500 400 80 万
1000 400 1200000
5000 600 1200000
25000 3000 1200000
64,000 7680 1200000

默认 IOPS 和吞吐量值

如果您在创建 Hyperdisk ML 卷时未指定 IOPS 或吞吐量限制,Compute Engine 会分配默认值。分配的值基于以下公式,其中 x 是卷的大小(以 GiB 为单位)。

  • 默认吞吐量:MAX (24x, 400) MiB/s
  • 默认大小:100 GiB

更改预配的性能或大小

您可以每 4 小时更改一次预配大小,每 6 小时更改一次吞吐量。如需了解如何修改大小或性能,请参阅修改 Hyperdisk 卷

附加到实例时的性能限制

本部分列出了 Hyperdisk ML 的性能限制。您可以为单个 Hyperdisk ML 卷指定高达 19,200,000 MiB/s 的吞吐量。您无法预配 IOPS 级别,但每 MiB/s 的预配吞吐量都附带 16 IOPS,最多可达 19,200,000 IOPS。

下表列出了 Hyperdisk ML 卷可为每个受支持的实例实现的最大性能。Hyperdisk ML 卷在挂接到实例后,其性能不能超过实例机器类型的限制。性能限制也会在挂接到同一实例的所有 Hyperdisk ML 卷之间共享,无论每个卷的预配性能如何。

需要多个实例才能达到预配性能的场景

Hyperdisk ML 卷的预配吞吐量会在该卷挂接到的每个实例之间共享,最高可达下表中所列机器类型的上限。如果 Hyperdisk ML 卷的预配性能高于实例的性能限制,则只有将该卷挂接到多个实例时,它才能达到预配的性能。a3-ultragpu-8 实例的吞吐量上限为 4,000 MiB/s。

例如,假设您有一个预配了 500,000 MiB/s 吞吐量的 Hyperdisk ML 卷,并且您想将该卷挂接到 a3-ultragpu-8 实例。单个 a3-ultragpu-8 实例的吞吐量不能超过 4,000 MiB/s。因此,为了实现卷的预配吞吐量,您必须将该卷挂接到至少 125 (500,000/4,000) 个 a3-ultragpu-8 实例。另一方面,对于 a2-highgpu-1g 机器类型,您需要 272 个实例。

实例机器类型 最大 IOPS 最大吞吐量 (MiB/s)
a2-*-1g 1800 28,800
a2-*-2g 2400 38,400
a2-*-4g 2400 38,400
a2-*-8g 2400 38,400
a2-megagpu-16g 2400 38,400
a3-*-1g 1800 28,800
a3-*-2g 2400 38,400
a3-*-4g 2400 38,400
a3-*-8g(在只读模式下)1 4000 64,000
a3-*-8g(读写模式下)1 2400 38,400
c3-*-4 400 6,400
c3-*-8 800 12,800
c3-*-22 1800 28,800
c3-*-44 2400 38,400
c3-*-88 2400 38,400
c3-*-176 2400 38,400
c3-*-192 2400 38,400
c3d-*-4 400 6,400
c3d-*-8 800 12,800
c3d-*-16 1200 19,200
c3d-*-30 1200 19,200
c3d-*-60 2400 38,400
c3d-*-90 2400 38,400
c3d-*-180 2400 38,400
c3d-*-360 2400 38,400
ct6e-standard-1t 1200 19,200
ct6e-standard-4t 1800 28,800
ct6e-standard-8t 1800 28,800
g2-standard-4 800 12,800
g2-standard-8 1200 19,200
g2-standard-12 1800 28,800
g2-standard-16 2400 38,400
g2-standard-24 2400 38,400
g2-standard-32 2400 38,400
g2-standard-48 2400 38,400
g2-standard-96 2400 38,400

1 对于 a3-*-8g 实例,性能取决于 Hyperdisk ML 卷是以只读模式还是读写模式挂接到实例。

Hyperdisk ML 的区域可用性

Hyperdisk ML 在以下区域和可用区提供:

区域 适用可用区
台湾彰化—asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
日本东京—asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
韩国首尔—asia-northeast3 asia-northeast3-a
asia-northeast3-b
新加坡裕廊西—asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
印度孟买—asia-south1 asia-south1-b
asia-south1-c
比利时圣吉斯兰—europe-west1 europe-west1-b
europe-west1-c
英国伦敦—europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
荷兰埃姆斯哈文—europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
瑞士苏黎世—europe-west6 europe-west6-b
europe-west6-c
以色列特拉维夫—me-west1 me-west1-b
me-west1-c
爱荷华州,康瑟尔布拉夫斯—us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
南卡罗来纳州,蒙克斯科纳—us-east1 us-east1-b
us-east1-c
us-east1-d
弗吉尼亚州,阿什本—us-east4 us-east4-a
us-east4-b
us-east4-c
俄亥俄州,哥伦布—us-east5 us-east5-a
us-east5-b
us-east5-c
德克萨斯州达拉斯—us-south1 us-south1-a
俄勒冈州,达尔斯—us-west1 us-west1-a
us-west1-b
us-west1-c
犹他州,盐湖城—us-west3 us-west3-b
内华达州,拉斯维加斯—us-west4 us-west4-a
us-west4-b
us-west4-c

Hyperdisk ML 卷的灾难恢复

您可以使用标准快照备份 Hyperdisk ML 卷。快照可备份 Hyperdisk ML 卷在特定时间点的数据。

跨可用区复制

您无法将 Hyperdisk ML 卷复制到其他可用区。如需将数据复制到同一区域内的其他可用区,您必须使用 Hyperdisk Balanced 高可用性卷。

在虚拟机之间共享 Hyperdisk ML 卷

对于经过加速器优化的机器学习工作负载,您可以将同一 Hyperdisk ML 卷挂接到多个实例。这样,您就可以从多个虚拟机同时对单个卷进行只读访问。这比使用多个包含相同数据的磁盘更加经济实惠。

在虚拟机之间共享磁盘不会产生任何额外费用。将只读模式下的磁盘挂接到多个虚拟机不会影响该磁盘的性能。每个虚拟机仍可达到虚拟机的机器系列可实现的磁盘性能上限。

在虚拟机之间共享 Hyperdisk ML 的限制

  • Hyperdisk ML 卷不支持多写入者模式;如果 Hyperdisk ML 卷处于只读模式,您可以在多个实例之间共享该卷。
  • Hyperdisk ML 卷无法以只读模式挂接到单个实例。
  • 如果您共享只读模式下的 Hyperdisk ML 卷,则无法重新启用对磁盘的写入权限。
  • 每 30 秒可以将 Hyperdisk ML 卷挂接到最多 100 个实例。
  • 对于 Hyperdisk ML 卷,实例数量上限取决于
  • 预配大小,如下所示:
    • 卷大小小于 256 GiB:2,500 个虚拟机
    • 容量至少为 256 GiB 且小于 1 TiB 的卷:1,500 个虚拟机
    • 容量至少为 1 TiB 且小于 2 TiB 的卷:600 个虚拟机
    • 容量至少为 2 TiB 的卷:30 个虚拟机

如果卷挂接到超过 20 个虚拟机,则您必须为每个虚拟机至少预配 100 MiB/s 的吞吐量。例如,如果您将磁盘挂接到 500 个虚拟机,则必须为该卷预配至少 50,000 MiB/s 的吞吐量。

如需了解详情,请参阅 Hyperdisk 的只读模式

价格

您需要支付 Hyperdisk ML 卷的总预配吞吐量的费用,直到您将其删除。即使卷未附加到任何实例,或者实例已暂停或停止,也需要支付费用。如需了解详情,请参阅磁盘价格

限制

  • Hyperdisk ML 卷是可用区级的,只能从创建卷的可用区访问。
  • 您无法通过 Hyperdisk 卷创建机器映像
  • 您无法通过 Hyperdisk ML 卷创建即时快照。
  • 您不能将 Hyperdisk ML 用作启动磁盘。
  • 您无法通过快照或磁盘映像以读写单次模式创建 Hyperdisk ML 磁盘。您必须以只读-多模式创建该磁盘。
  • 您可以每 4 小时更改一次 Hyperdisk ML 卷的大小,每 6 小时更改一次其吞吐量。

后续步骤