In diesem Leitfaden wird gezeigt, wie Sie die Speicheranforderungen Ihrer Cloud-Arbeitslast ermitteln, wie die verfügbaren Speicheroptionen in Google Cloudgenutzt werden können und wie Sie eine Speicherstrategie für einen optimalen Geschäftswert entwickeln.
Eine visuelle Zusammenfassung der wichtigsten Designempfehlungen finden Sie im Entscheidungsbaumdiagramm.
Informationen zur Auswahl von Speicherdiensten für KI- und ML-Arbeitslasten finden Sie unter Speicher für KI- und ML-Arbeitslasten in Google Cloud entwerfen.
Übersicht über den Designprozess
Als Cloud-Architekt müssen Sie bei der Planung des Speichers für eine Cloud-Arbeitslast zuerst die funktionalen Eigenschaften der Arbeitslast, Sicherheitsbeschränkungen, Anforderungen an die Ausfallsicherheit, Leistungserwartungen und Kostenziele berücksichtigen. Anschließend müssen Sie die verfügbaren Speicherdienste und ‑funktionen inGoogle Cloudprüfen. Schließlich wählen Sie je nach Ihren Anforderungen und den verfügbaren Optionen die benötigten Speicherdienste und -Features aus. Das folgende Diagramm zeigt diesen dreistufigen Prozess:
Anforderungen definieren
Verwenden Sie die Fragebögen in diesem Abschnitt, um die zentralen Speicheranforderungen der Arbeitslast zu definieren, die Sie in Google Cloudbereitstellen möchten.
Richtlinien für das Definieren von Speicheranforderungen
Beim Beantworten der Fragebögen sind folgende Leitlinien zu beachten:
Anforderungen detailliert definieren
Wenn Ihre Anwendung beispielsweise Dateispeicher des Netzwerkdateisystems (NFS) benötigt, ermitteln Sie die erforderliche NFS-Version.
Künftige Anforderungen berücksichtigen
Beispielsweise kann es sein, dass eine aktuelle Bereitstellung für Nutzer in asiatischen Ländern später auf Unternehmen anderer Kontinente ausgeweitet werden soll. In diesem Fall sollten Sie bereits alle speicherbezogenen behördlichen Anforderungen der neuen Geschäftsgebiete berücksichtigen.
Cloudspezifische Möglichkeiten und Anforderungen berücksichtigen
Nutzen Sie die cloudspezifischen Möglichkeiten.
Zur Optimierung der Speicherkosten für in Cloud Storage gespeicherte Daten können Sie beispielsweise die Speicherdauer mithilfe von Datenaufbewahrungsrichtlinien und Lebenszykluskonfigurationen steuern.
Berücksichtigen Sie cloudspezifische Anforderungen.
Wenn beispielsweise die lokalen Daten in einem einzigen Rechenzentrum gespeichert sind, müssen Sie eventuell die migrierten Daten für eine Redundanz auf zweiGoogle Cloud -Standorte replizieren.
Fragebögen
Die folgenden Fragebögen sind nicht als fertige Checklisten für die Planung zu verstehen. Verwenden Sie sie als Ausgangspunkt, um alle Speicheranforderungen der Arbeitslast, die Sie in Google Cloudbereitstellen möchten, systematisch zu analysieren.
Eigenschaften der Arbeitslast bewerten
Welche Art von Daten müssen Sie speichern?
Beispiele
- Inhalt der statischen Website
- Sicherungen und Archive zur Notfallwiederherstellung
- Audit-Logs für die Compliance
- Große Datenobjekte, die Nutzer direkt herunterladen
- Transaktionsdaten
- Unstrukturierte und heterogene Daten
Wie viel Kapazität benötigen Sie? Berücksichtigen Sie Ihre aktuellen und zukünftigen Anforderungen.
Soll die Kapazität mit der Nutzung automatisch skaliert werden?
Welche Zugriffsanforderungen gelten? Sollen die Daten beispielsweise außerhalb von Google Cloudzugänglich sein?
Was sind die erwarteten Lese-/Schreibmuster?
Beispiele
- Häufige Schreib- und Lesevorgänge
- Häufige Schreibvorgänge, aber gelegentliche Lesevorgänge
- Gelegentliche Schreib- und Lesevorgänge
- Gelegentliche Schreibvorgänge, aber häufige Lesevorgänge
Erfordert die Arbeitslast dateibasierten Zugriff, zum Beispiel mit NFS?
Sollen mehrere Clients gleichzeitig Daten lesen oder schreiben?
Sicherheitsbeschränkungen ermitteln
Welche Anforderungen gelten für die Datenverschlüsselung? Verwenden Sie beispielsweise Schlüssel, die Sie selbst steuern?
Gibt es Anforderungen an die Datenausfallsicherheit?
Anforderungen an die Datenausfallsicherheit definieren
- Benötigt Ihre Arbeitslast Caching oder temporären Speicher mit niedriger Latenz?
- Müssen Sie die Daten in der Cloud aus Gründen der Redundanz replizieren?
- Benötigen Sie strikte Lese-/Schreibkonsistenz für replizierte Datasets?
Leistungserwartungen festlegen
Wie hoch ist der erforderliche E/A-Rate?
Welchen Grad an Lese- und Schreibdurchsatz benötigt Ihre Anwendung?
Für welche Umgebungen ist Speicher erforderlich? Für eine bestimmte Arbeitslast benötigen Sie möglicherweise einen Hochleistungsspeicher für die Produktionsumgebung, können aber für die Nicht-Produktionsumgebung eine Option mit geringerer Leistung auswählen.
Speicheroptionen prüfen
Google Cloud bietet Speicherdienste für alle wichtigen Speicherformate: Block, Datei und Objekt. Prüfen Sie die Features, Designoptionen und relativen Vorteile der Dienste für jedes Speicherformat und evaluieren Sie sie.
Übersicht
Blockspeicher
Die Daten, die Sie im Blockspeicher speichern, werden in Einheiten unterteilt, die als jeweils separater Block mit einer eindeutigen Adresse gespeichert werden. Anwendungen greifen dann auf Daten durch Verweis auf die entsprechenden Blockadressen zu. Der Blockspeicher ist für Arbeitslasten mit hoher IOPS-Anzahl, z. B. für die Transaktionsverarbeitung, optimiert. Er ist mit dem lokalen Storage Area Network (SAN) und DAS-Systemen (Directly Attached Storage) vergleichbar.
Die Blockspeicheroptionen in Google Cloud sind Teil des Compute Engine-Dienstes.
| Option | Überblick |
|---|---|
| Persistent Disk | Dedizierte Festplattenlaufwerke (HDDs) und Solid-State-Laufwerke (SSDs) für Unternehmens- und Datenbankanwendungen, die in Compute Engine-VMs und Google Kubernetes Engine-Clustern (GKE) bereitgestellt werden. |
| Google Cloud-Hyperdisk | Schneller und redundanter Netzwerkspeicher für Compute Engine-VMs und GKE-Cluster mit konfigurierbarer Leistung und konfigurierbaren Volumes, deren Größe dynamisch angepasst werden kann. |
| Local SSD | Sitzungsspezifischer, lokal angehängter Blockspeicher für Hochleistungsanwendungen. |
Dateispeicher
Daten werden wie bei einem lokalen NAS-Speicher (Network Attached Storage) in einer Hierarchie von Dateien organisiert und dargestellt. Dateisysteme können auf Clients mit Protokollen wie NFS und Server Message Block (SMB) bereitgestellt werden. Anwendungen greifen dabei über den entsprechenden Dateinamen und den Verzeichnispfad auf Daten zu.
Google Cloud bietet eine Reihe von vollständig verwalteten Lösungen sowie Lösungen von Drittanbietern zum Speichern von Dateien.
| Lösung | Übersicht |
|---|---|
| Filestore |
Dateibasierter Speicher mit NFS-Dateiservern für Compute Engine-VMs und Google Kubernetes Engine-Cluster. Sie können eine Dienststufe (Basic, Zonal oder Regional) auswählen, die zu Ihrem Anwendungsfall passt. |
| Google Cloud Managed Lustre |
Paralleles Dateisystem mit niedriger Latenz für KI, Hochleistungs-Computing (HPC) und datenintensive Anwendungen. |
| NetApp Volumes | Dateibasierter Speicher mit NFS oder SMB. Sie können ein Service-Level (Flex, Standard, Premium oder Extreme) auswählen, das zu Ihrem Anwendungsfall passt. |
| Weitere Optionen | Informationen dazu finden Sie unter Zusammenfassung der Dateiserveroptionen. |
Objektspeicher
Die Daten werden als Objekte in einer flachen Hierarchie von Buckets gespeichert. Jedem Objekt wird eine global eindeutige ID zugewiesen. Objekte können vom System zugewiesene sowie benutzerdefinierte Metadaten haben, mit denen sich Daten organisieren und verwalten lassen. Anwendungen greifen auf Daten mithilfe von REST APIs oder Clientbibliotheken über den Verweis auf Objekt-IDs zu.
Cloud Storage bietet einen kostengünstigen, langlebigen und unbegrenzten Objektspeicher für verschiedene Datentypen. Die in Cloud Storage gespeicherten Daten können von jedem Standort innerhalb und außerhalb von Google Cloudaufgerufen werden. Die optionale regionale Redundanz bietet maximale Zuverlässigkeit. Sie können die Speicherklasse auswählen, die Ihren Anforderungen an die Datenaufbewahrung und die Zugriffshäufigkeit entspricht.
Vergleichsanalyse
In der folgenden Tabelle sind die wichtigsten Funktionen der Speicherdienste inGoogle Cloudaufgeführt.
| Persistent Disk | Hyperdisk | Lokale SSD | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| Kapazität |
10 GiB bis 64 TiB pro Laufwerk Bis zu 257 TiB pro VM |
4 GiB bis 64 TiB pro Laufwerk Bis zu 512 TiB pro VM 10 TiB bis 1 PiB pro Speicherpool |
375 GiB pro Laufwerk Bis zu 12 TiB pro VM Titanium SSD ist eine lokale SSD-Option mit höherer Kapazität. |
1–100 TiB pro Instanz | 18 TiB bis 8 PiB | 1 TiB bis 10 PiB pro Speicherpool 1 GiB bis 1 PiB pro Volume |
Keine Unter- oder Obergrenze |
|
Skalierung |
|
Hochskalieren | Nicht skalierbar |
|
Nicht skalierbar | Hoch- und Herunterskalieren | Automatische Skalierung nach Nutzung |
| Freigabe |
Unterstützt | Unterstützt | Kann nicht freigegeben werden | Kann auf mehreren Compute Engine-VMs, Remote-Clients und GKE-Clustern bereitgestellt werden | Kann auf mehreren Compute Engine-VMs und in mehreren GKE-Clustern bereitgestellt werden. | Kann auf mehreren Compute Engine-VMs und in mehreren GKE-Clustern bereitgestellt werden |
|
| Optionen für Verschlüsselungsschlüssel |
|
|
Google-owned and Google-managed encryption keys |
|
Google-owned and Google-managed encryption keys |
|
|
| Persistenz |
Lebensdauer des Laufwerks | Lebensdauer des Laufwerks | Sitzungsspezifisch (Daten gehen verloren, wenn die VM beendet oder gelöscht wird) | Lebensdauer der Filestore-Instanz | Lebensdauer der Managed Lustre-Instanz | Lebensdauer des Volumes | Lebensdauer des Buckets |
| Verfügbarkeit |
|
|
Zonal |
|
Zonal |
|
|
| Leistung |
Lineare Skalierung mit der Laufwerksgröße und der CPU-Anzahl | Nichtflüchtiger Speicher mit dynamischer Skalierung | Scratch-Hochleistungsspeicher |
|
Lineare Skalierung mit bereitgestellter Kapazität | Skalierbare Leistung Erwartungen hängen vom Service Level ab |
|
| Verwaltung |
Manuell formatieren und bereitstellen | Manuell formatieren und bereitstellen | Manuell formatieren, streifen und bereitstellen | Vollständig verwaltet | Vollständig verwaltet | Vollständig verwaltet | Vollständig verwaltet |
In der folgenden Tabelle sind die Workload-Typen aufgeführt, für die die einzelnen Google CloudSpeicheroptionen geeignet sind:
| Speicheroption | Arbeitslasttypen |
|---|---|
| Persistent Disk |
|
| Hyperdisk |
|
| Lokale SSD |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
Speicheroption auswählen
Für das Auswählen einer Speicheroption sind zwei Schritte erforderlich:
- Sie ermitteln, welche Speicherdienste Sie benötigen.
- Sie wählen die erforderlichen Features und Designoptionen in einem bestimmten Dienst aus.
Beispiele für dienstspezifische Features und Designoptionen
Persistent Disk
- Region und Zone der Bereitstellung
- Regionale Replikation
- Typ, Größe und IOPS des Laufwerks (für extrem nichtflüchtige Speicher)
- Verschlüsselungsschlüssel: Eigentum von Google und von Google oder vom Kunden verwaltet oder vom Kunden bereitgestellt
- Zeitplan für Snapshots
Hyperdisk
- Bereitstellungszone
- Typ, Größe, Durchsatz (für Hyperdisk Throughput) und IOPS (für Hyperdisk Extreme) des Laufwerks
- Verschlüsselungsschlüssel: Eigentum von Google und von Google oder vom Kunden verwaltet oder vom Kunden bereitgestellt
- Zeitplan für Snapshots
Filestore
- Region und Zone der Bereitstellung
- Instanzstufe
- Kapazität
- IP-Bereich: automatisch zugewiesen oder benutzerdefiniert
- Zugriffssteuerung
NetApp-Volumes
- Bereitstellungsregion
- Service Level für den Speicherpool
- Pool- und Volume-Kapazität
- Volume-Protokoll
- Regeln für den Volume-Export
Cloud Storage
- Standort: multiregional, Dual-Region, einzelne Region
- Speicherklasse: Standard, Nearline, Coldline, Archive
- Zugriffssteuerung: einheitlich oder detailliert
- Verschlüsselungsschlüssel: Eigentum von Google und von Google oder vom Kunden verwaltet oder vom Kunden bereitgestellt
- Aufbewahrungsrichtlinien
Speicherempfehlungen
Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt für die Auswahl der Speicherdienste und Features, die Ihren Anforderungen entsprechen. Spezifische Informationen zu KI- und ML-Arbeitslasten finden Sie unter Speicher für KI- und ML-Arbeitslasten in Google Cloudentwerfen.
Allgemeine Empfehlungen zur Speicherung werden weiter unten in diesem Dokument auch als Entscheidungsbaum dargestellt.
Verwenden Sie Managed Lustre für Anwendungen, die ein paralleles Dateisystem benötigen.
Wählen Sie für Anwendungen, die dateibasierten Zugriff benötigen, basierend auf Ihren Anforderungen für Zugriffsprotokoll, Verfügbarkeit und Leistung einen geeigneten Dateispeicherdienst aus.
Zugriffsprotokoll Empfehlung NFS - Wenn Sie regionale Verfügbarkeit und hohe Leistung benötigen, die mit der Kapazität skaliert wird, verwenden Sie Filestore Regional.
- Wenn zonale Verfügbarkeit ausreicht, Sie aber eine hohe Leistung benötigen, die mit der Kapazität skaliert wird, verwenden Sie Filestore Zonal oder NetApp Volumes Premium oder Extreme.
- Verwenden Sie andernfalls entweder Filestore Basic oder NetApp Volumes.
Weitere Informationen zu den Unterschieden zwischen den Filestore-Dienststufen finden Sie unter Dienststufen.
KMU Verwenden Sie NetApp Volumes. Verwenden Sie für Arbeitslasten, die primären Speicher mit hoher Leistung benötigen, je nach Ihren Anforderungen Hyperdisk, lokale SSD oder Persistent Disk.
Anforderung Empfehlung Schnelle Scratch Disk oder Cache Verwenden Sie lokale SSD-Laufwerke (sitzungsspezifisch). Blockspeicher mit unabhängig skalierbarer Leistung und Kapazität Verwenden Sie eine Hyperdisk. Wählen Sie je nach Ihren Anforderungen einen geeigneten Festplattentyp aus:
- Arbeitslasten für allgemeine Zwecke:
hyperdisk-balanced - Arbeitslasten mit hohem E/A-Wert, z. B. Hochleistungsdatenbanken:
hyperdisk-extreme - Analysen mit horizontaler Skalierung, Datenlaufwerke für kostenempfindliche Anwendungen und kalter Datenspeicher:
hyperdisk-throughput - ML-Arbeitslasten, die einen hohen Durchsatz für mehrere VMs im Lesemodus erfordern:
hyperdisk-mlim Lesemodus - Mehrere VMs in einer Region mit gleichzeitigem Schreibzugriff auf dasselbe Laufwerk:
hyperdisk-balanced-high-availabilityim Modus für mehrere Autoren
Weitere Informationen finden Sie unter Informationen zu Google Cloud Hyperdisk.
Blockspeicher mit skalierbarer Kapazität Verwenden Sie nichtflüchtige Speicher. Wählen Sie einen geeigneten Festplattentyp entsprechend Ihren Anforderungen aus:
- Sequenzielle IOPS:
pd-standard - IOPS-intensive Arbeitslasten:
pd-extremeoderpd-ssd - Ausgewogenheit zwischen Leistung und Kosten:
pd-balanced
Weitere Informationen finden Sie unter Nichtflüchtiger Speicher.
- Wählen Sie je nach Redundanzanforderungen zwischen zonalen und regionalen Laufwerken aus.
Anforderung Empfehlung Redundanz innerhalb einer einzelnen Zone in einer Region Verwenden Sie Hyperdisk oder zonale nichtflüchtige Speicher. Redundanz für mehrere Zonen innerhalb einer Region Verwenden Sie Hyperdisk High Availability oder regionale Persistent Disks.
- Arbeitslasten für allgemeine Zwecke:
Verwenden Sie Cloud Storage, wenn Sie einen unbegrenzt skalierbaren, global verfügbaren Speicher benötigen.
Wählen Sie je nach Datenzugriffshäufigkeit und Speicherdauer eine geeignete Cloud Storage-Klasse aus.
Anforderung Empfehlung Die Zugriffshäufigkeit variiert oder die Datenaufbewahrungsdauer ist unbekannt oder ist nicht vorhersehbar. Verwenden Sie das Feature Autoclass, um Objekte in einem Bucket basierend auf dem Zugriffsmuster jedes Objekts automatisch auf die entsprechenden Speicherklassen zu übertragen. Speicher für Daten, auf die häufig zugegriffen wird, z. B. für Datenanalysen mit hohem Durchsatz, Data Lakes, Websites, gestreamte Videos und mobile Apps. Verwenden Sie die Speicherklasse Standard.
Verwenden Sie Cloud CDN, um häufig aufgerufene Daten im Cache zu speichern und von Standorten aus bereitzustellen, die sich in der Nähe der Clients befinden.
Bei leseintensiven Arbeitslasten mit seltenen Datenänderungen und häufigen Lesevorgängen (z. B. ML-Training, ‑Inferenz und ‑Analysen) können Sie die Leseleistung verbessern und die Kosten für die Datenübertragung senken, indem Sie Anywhere Cache verwenden.
Kostengünstiger Speicher für selten aufgerufene Daten, die mindestens 30 Tage gespeichert werden können, z. B. Sicherungen und Longtail-Multimedia-Inhalte. Verwenden Sie die Speicherklasse Nearline. Kostengünstiger Speicher für selten aufgerufene Daten, die mindestens 90 Tage gespeichert werden können, z. B. für die Notfallwiederherstellung. Verwenden Sie die Speicherklasse Coldline. Kostengünstigster Speicher für selten aufgerufene Daten, die mindestens 365 Tage gespeichert werden können, z. B. für zur Einhaltung behördlicher Auflagen angelegte Archive. Verwenden Sie die Speicherklasse Archive. Eine detaillierte Vergleichsanalyse finden Sie unter Cloud Storage-Klassen.
Datenübertragungsoptionen
Nachdem Sie geeignete Google Cloud Speicherdienste ausgewählt haben, müssen Sie Ihre Daten zu Google Cloudübertragen, um Arbeitslasten bereitzustellen und auszuführen. Die Daten, die Sie übertragen müssen, befinden sich möglicherweise lokal oder auf anderen Cloud-Plattformen.
Sie haben folgende Möglichkeiten, Daten in Google Cloudzu übertragen:
- Daten online übertragen mit Storage Transfer Service: Automatisieren Sie die Übertragung großer Datenmengen zwischen Objekt- und Dateispeichersystemen, einschließlich Cloud Storage, Amazon S3, Azure-Speicherdiensten und lokalen Datenquellen.
- Daten offline mit Transfer Appliance übertragen: Google Cloud Große Datenmengen offline übertragen und laden, wenn keine oder nur eine begrenzte Netzwerkverbindung und Bandbreite verfügbar ist oder die Kosten für die Netzwerkverbindung hoch sind.
- Daten in Cloud Storage hochladen: Sie können Daten online in Cloud Storage-Buckets hochladen. Verwenden Sie dazu die Google Cloud Console, die gcloud CLI, die Cloud Storage APIs oder Clientbibliotheken.
Berücksichtigen Sie bei der Auswahl einer Datenübertragungsmethode Faktoren wie die Datengröße, Zeitbeschränkungen, verfügbare Bandbreite, Kostenziele sowie Sicherheits- und Compliance-Anforderungen. Informationen zum Planen und Implementieren von Datenübertragungen zu Google Cloudfinden Sie unter Zu Google Cloudmigrieren: Große Datasets übertragen.
Entscheidungsbaum für Speicheroptionen
Der folgende Entscheidungsbaum führt Sie durch die zuvor erläuterten Empfehlungen für die Google CloudSpeicherung. Spezifische Informationen zu KI- und ML-Arbeitslasten finden Sie unter Speicher für KI- und ML-Arbeitslasten in Google Cloudentwerfen.
Nächste Schritte
- Berechnen Sie eine Schätzung der Speicherkosten mit dem Google Cloud -Preisrechner.
- Erfahren Sie mehr über Best Practices zum Erstellen einer Cloud-Topologie, die für Sicherheit, Robustheit, Kosten und Leistung optimiert ist.
- Parallele Dateisysteme wie Lustre für HPC-Arbeitslasten verwenden
Beitragende
Autor: Kumar Dhanagopal | Cross-product Solution Developer
Weitere Beitragende:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand Technical Director, Office of the CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Technical Writer
- Jason Wu | Director, Product Management
- Jeff Allen | Solutions Architect
- Samantha He | Technical Writer
- Sean Derrington | Group Outbound Product Manager, Speicher