高性能机器类型的自动化配置

本页面介绍了自动设置的默认 Cloud Storage FUSE 值,这些值用于高性能 Google Cloud 机器类型,旨在针对要求高、吞吐量高的工作负载优化性能。在装载时手动设置的值会替换这些默认值。

机器类型

以下高性能机器类型的配置是自动完成的:

系列类型 机器类型
A2 机器系列
a2-megagpu-16g
a2-ultragpu-8g
A3 机器系列
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
A4 机器系列
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e (Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

自动化配置

检测到受支持的机器类型时,Cloud Storage FUSE 会自动应用以下配置值:

配置文件字段 CLI 选项 自动化配置值
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1

metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1 将此配置设为 -1 可始终从缓存中传送文件,从而显著提升性能。请注意,此配置会绕过一致性检查,从而导致提供过时的数据。如需详细了解如何管理数据一致性,请参阅文件、统计信息和类型缓存失效

进一步微调性能

当您使用高性能 Google Cloud 机器类型时,系统会自动应用本页详细介绍的配置。不过,您可以按照性能调优最佳实践指南进一步微调机器,以获得最佳性能。

如果您在 Google Kubernetes Engine 集群上运行训练、服务或检查点和 JIT 缓存工作负载,并使用 Cloud GPU 或 Cloud TPU 访问 Cloud Storage 中的大型数据集,则可以利用预配置的 YAML 文件将 Cloud Storage 存储桶直接装载到 Pod 中,从而更高效地简化设置。如需详细了解如何使用预配置的 Google Kubernetes Engine YAML 文件,请参阅使用预配置的 Google Kubernetes Engine YAML 文件优化 Cloud Storage FUSE 性能

后续步骤