Automatisierte Konfigurationen für Hochleistungsmaschinentypen

Auf dieser Seite werden automatisch festgelegte Standardwerte für Cloud Storage FUSE beschrieben, die für leistungsstarke Google Cloud Maschinentypen verwendet werden. Diese sind darauf ausgelegt, die Leistung für anspruchsvolle Arbeitslasten mit hohem Durchsatz zu optimieren. Werte, die beim Mounten manuell festgelegt werden, überschreiben diese Standardwerte.

Maschinentypen

Konfigurationen werden für die folgenden Hochleistungsmaschinentypen automatisiert:

Serientyp Maschinentyp
A2-Maschinenserie
a2-megagpu-16g
a2-ultragpu-8g
A3-Maschinenserie
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
A4-Maschinenserie
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e (Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

Automatisierte Konfigurationen

Wenn ein unterstützter Maschinentyp erkannt wird, wendet Cloud Storage FUSE automatisch die folgenden Konfigurationswerte an:

Feld der Konfigurationsdatei Befehlszeilenoption Automatisierter Konfigurationswert
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1

metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1 Wenn Sie diese Konfiguration auf -1 festlegen, wird die Leistung erheblich gesteigert, da Dateien immer aus dem Cache bereitgestellt werden. Beachten Sie, dass bei dieser Konfiguration Konsistenzprüfungen umgangen werden, was dazu führen kann, dass veraltete Daten bereitgestellt werden. Weitere Informationen zum Verwalten der Datenkonsistenz finden Sie unter Datei-, Statistik- und Typ-Cache-Entwertung.

Weitere Leistungsoptimierung

Wenn Sie einen leistungsstarken Google Cloud Maschinentyp verwenden, werden die auf dieser Seite beschriebenen Konfigurationen automatisch angewendet. Sie können Ihren Computer jedoch mit dem Leitfaden Best Practices für die Leistungsoptimierung weiter optimieren.

Wenn Sie Trainings-, Bereitstellungs- oder Checkpointing- und JIT-Cache-Arbeitslasten in Google Kubernetes Engine-Clustern ausführen, die Cloud GPUs oder Cloud TPU verwenden, um auf große Datasets in Cloud Storage zuzugreifen, können Sie die Einrichtung optimieren, indem Sie vorkonfigurierte YAML-Dateien verwenden, um Ihre Cloud Storage-Buckets effizienter direkt in Ihre Pods einzubinden. Weitere Informationen und Anleitungen zur Verwendung vorkonfigurierter Google Kubernetes Engine-YAML-Dateien finden Sie unter Vorkonfigurierte Google Kubernetes Engine-YAML-Dateien zur Optimierung der Cloud Storage FUSE-Leistung verwenden.

Nächste Schritte