Google Cloud bietet Tools, Produkte, Anleitungen und professionelle Dienste für die Migration von Daten von Amazon Simple Storage Service (Amazon S3) zu Cloud Storage. In diesem Dokument wird beschrieben, wie Sie einen Plan für die Migration von Amazon S3 zu Cloud Storage entwerfen, implementieren und validieren. Das Dokument beschreibt einen Teil des Migrationsprozesses, in dem Sie ein Inventar von Amazon S3-Artefakten erstellen und einen Plan für den Umgang mit dem Migrationsprozess erstellen.
Die Diskussion in diesem Dokument richtet sich an Cloud-Administratoren, die Details zum Planen und Implementieren eines Migrationsprozesses wünschen. Sie richtet sich auch an Entscheidungsträger, die eine Möglichkeit zur Migration in Betracht ziehen und sich ansehen möchten, wie die Migration aussehen könnte.
Dieses Dokument ist Teil einer mehrteiligen Reihe zur Migration von AWS zu Google Cloud, die folgende Dokumente enthält:
- Jetzt starten
- Von Amazon EC2 zu Compute Engine migrieren
- Von Amazon S3 zu Cloud Storage migrieren (dieses Dokument)
- Von Amazon EKS zu Google Kubernetes Engine migrieren
- Von Amazon RDS und Amazon Aurora for MySQL zu Cloud SQL for MySQL migrieren
- Von Amazon RDS und Amazon Aurora for PostgreSQL zu Cloud SQL for PostgreSQL und AlloyDB for PostgreSQL migrieren
- Von Amazon RDS for SQL Server zu Cloud SQL for SQL Server migrieren
- Von AWS Lambda zu Cloud Run migrieren
Für diese Migration zu Google Cloud empfehlen wir die Ausführung des unter Migrate to Google Cloud: Erste Schritte beschriebenen Migrations-Frameworks.
Diese Grafik veranschaulicht den Migrationsprozess:
Die Migration von Ihrer Quellumgebung zu Google Cloud kann in einer Reihe von Iterationen erfolgen. Beispielsweise können Sie einige Arbeitslasten zuerst und andere später migrieren. Für jede separate Migrationsiteration folgen Sie den Phasen des allgemeinen Migrations-Frameworks:
- Arbeitslasten und Daten bewerten und erkennen.
- Grundlage in Google Cloud planen und erstellen.
- Arbeitslasten und Daten zu Google Cloud migrieren.
- Google Cloud-Umgebung optimieren.
Weitere Informationen zu den Phasen dieses Frameworks finden Sie unter Zu Google Cloud migrieren: Erste Schritte.
Um einen effektiven Migrationsplan zu entwerfen, empfehlen wir, jeden Schritt des Plans zu validieren und sicherzustellen, dass Sie eine Rollback-Strategie haben. Informationen zur Validierung Ihres Migrationsplans finden Sie unter Migrate to Google Cloud: Best Practices zur Validierung eines Migrationsplans.
Quellumgebung bewerten
In der Bewertungsphase bestimmen Sie die Anforderungen und Abhängigkeiten für die Migration Ihrer Quellumgebung zu Google Cloud.
Die Bewertungsphase ist für den Erfolg der Migration entscheidend. Sie benötigen umfassende Kenntnisse über die zu migrierenden Arbeitslasten, deren Anforderungen, Abhängigkeiten und über Ihre aktuelle Umgebung. Sie müssen Ihre Ausgangssituation verstehen, um eine Google Cloud-Migration erfolgreich planen und ausführen zu können.
Die Bewertungsphase umfasst die folgenden Aufgaben:
- Ein umfassendes Inventar Ihrer Arbeitslasten erstellen.
- Arbeitslasten nach ihren Attributen und Abhängigkeiten katalogisieren.
- Die Teams auf Google Cloud vorbereiten.
- Tests und Proofs of Concept in Google Cloud erstellen.
- Die Gesamtbetriebskosten (TCO) der Zielumgebung berechnen.
- Migrationsstrategie für Ihre Arbeitslasten auswählen.
- Tools für die Migration auswählen.
- Migrationsplan und Zeitplan definieren.
- Migrationsplan validieren.
Weitere Informationen zur Bewertungsphase und zu diesen Aufgaben finden Sie unter Zu Google Cloud migrieren: Arbeitslasten bewerten und erkennen. Die folgenden Abschnitte basieren auf Informationen in jenem Dokument.
Inventar Ihrer Amazon S3-Buckets erstellen
Zur Bestimmung des Umfangs der Migration erstellen Sie zwei Inventare: ein Inventar Ihrer Amazon S3-Buckets und ein Inventar der Objekte, die in den Buckets gespeichert sind.
Nachdem Sie das Inventar Ihrer Amazon S3-Buckets erstellt haben, optimieren Sie das Inventar unter Berücksichtigung der folgenden Datenpunkte für jeden Amazon S3-Bucket:
- Wie die serverseitige Verschlüsselung in Amazon S3-Buckets konfiguriert ist.
- Ihre Einstellungen für die Identitäts- und Zugriffsverwaltung für Amazon S3-Buckets.
- Die Konfiguration für S3-Blockierung des öffentlichen Zugriffs.
- Alle Kostenzuweisung-Tags für Amazon S3-Buckets.
- Die Konfiguration für S3-Objektsperre.
- Wie Sie auf den Amazon S3-Bucket zugreifen.
- Wie "Anforderer bezahlt" konfiguriert ist.
- Die Einstellungen für die Amazon S3-Objektversionsverwaltung.
- Die Konfiguration für AWS-Sicherungsrichtlinien für Amazon S3.
- Ob Sie Amazon S3 Intelligent-Tiering verwenden.
- Wie die Amazon S3-Objektreplikation konfiguriert ist.
- Der Amazon S3-Objektlebenszyklus.
Außerdem empfehlen wir, Daten zu Ihren Amazon S3-Buckets zu erfassen, mit denen Sie zusammengefasste Statistiken zu den Objekten berechnen können, die in den einzelnen Buckets enthalten sind. Wenn Sie beispielsweise die Gesamtgröße der Objekte, die durchschnittliche Objektgröße und die Anzahl der Objekte erfassen, können Sie die erforderliche Zeit und die Kosten für die Migration abschätzen, die für die Migration von einem Amazon S3-Bucket zu einem Cloud Storage-Bucket erforderlich sind.
Um das Inventar Ihrer Amazon S3-Buckets zu erstellen und Datenpunkte zu Ihren Amazon S3-Buckets zu erfassen, können Sie Datenerfassungsmechanismen und ‑prozesse implementieren, die auf AWS-Tools wie den folgenden beruhen:
- Amazon S3-Monitoring-Tools
- S3 Analytics
- AWS-Datenaggregation für mehrere Konten und Regionen
- AWS-APIs
- AWS-Entwicklertools
- AWS-Befehlszeile
Um Probleme während der Migration zu vermeiden und den für die Migration erforderlichen Aufwand zu schätzen, empfehlen wir Ihnen zu prüfen, wie Amazon S3-Bucket-Features ähnlichen Cloud Storage-Bucket-Features entsprechen. Diese Entsprechungen werden in der folgenden Tabelle zusammengefasst.
Wie bereits erwähnt, können die in der vorherigen Tabelle aufgeführten Features beim Vergleich ähnlich aussehen. Die Unterschiede beim Design und bei der Implementierung der Features bei den beiden Cloud-Anbietern können sich jedoch erheblich auf die Migration von Amazon S3 zu Cloud Storage auswirken.
Inventar der in den Amazon S3-Objekten gespeicherten Objekte erstellen
Nachdem Sie das Inventar Ihrer Amazon S3-Buckets erstellt haben, empfehlen wir Ihnen, mit dem Amazon S3-Inventartool ein Inventar der in diesen Buckets gespeicherten Objekte zu erstellen.
Wenn Sie das Inventar Ihrer Amazon S3-Objekte erstellen möchten, sollten Sie für jedes Objekt Folgendes berücksichtigen:
- Amazon S3-Objektname
- Amazon S3-Objektgröße
- Metadaten von Amazon S3-Objekten
- Unterressourcen von Amazon S3-Objekten
- Amazon S3-Objektversionen und ob Sie diese Versionen migrieren müssen
- Vorsignierte URLs von Amazon S3-Objekten
- Amazon S3-Objekttransformationen
- Amazon S3-Objekt-Tags
- Amazon S3-Objektspeicherklassen
- Amazon S3-Objektarchivierung
Wir empfehlen außerdem, Daten zu Ihren Amazon S3-Objekten zu erfassen, um zu ermitteln, wie oft Sie und Ihre Arbeitslasten Amazon S3-Objekte erstellen, aktualisieren und löschen.
Um Probleme während der Migration zu vermeiden und den für die Migration erforderlichen Aufwand zu schätzen, empfehlen wir Ihnen zu prüfen, wie Amazon S3-Objekt-Features ähnlichen Cloud Storage-Objekt-Features entsprechen. Diese Entsprechungen werden in der folgenden Tabelle zusammengefasst.
Wie bereits erwähnt, können die in der vorherigen Tabelle aufgeführten Features beim Vergleich ähnlich aussehen. Die Unterschiede beim Design und bei der Implementierung der Features bei den beiden Cloud-Anbietern können sich jedoch erheblich auf die Migration von Amazon S3 zu Cloud Storage auswirken.
Bewertung abschließen
Nachdem Sie das Inventar aus Ihrer Amazon S3-Umgebung erstellt haben, schließen Sie die restlichen Aktivitäten der Bewertungsphase ab, wie unter Zu Google Cloud migrieren: Arbeitslasten bewerten und erkennen beschrieben.
Grundlage planen und aufbauen
In der Planungs- und Erstellungsphase stellen Sie die Infrastruktur bereit und konfigurieren sie für Folgendes:
- Unterstützung Ihrer Arbeitslasten in Ihrer Google Cloud-Umgebung.
- Verbinden Ihrer Quellumgebung und Ihrer Google Cloud-Umgebung, um die Migration abzuschließen.
Die Planungs- und Erstellungsphase besteht aus den folgenden Aufgaben:
- Erstellen Sie eine Ressourcenhierarchie.
- Konfigurieren Sie Identity and Access Management (IAM) von Google Cloud.
- Richten Sie die Abrechnung ein.
- Richten Sie die Netzwerkverbindung ein.
- Erhöhen Sie die Sicherheit.
- Logging, Monitoring und Benachrichtigungen einrichten
Weitere Informationen zu den einzelnen Aufgaben finden Sie unter Migrate to Google Cloud: Planen und erstellen Sie Ihre Grundlage.
Daten und Arbeitslasten von Amazon S3 zu Cloud Storage migrieren
Für die Migration von Daten von Amazon S3 zu Cloud Storage empfehlen wir, einen Datenmigrationsplan zu erstellen. Folgen Sie dazu der Anleitung unter Zu Google Cloud migrieren: Große Datasets übertragen. In diesem Dokument wird die Verwendung von Storage Transfer Service empfohlen, einem Google Cloud-Produkt, mit dem Sie Daten aus mehreren Quellen zu Cloud Storage migrieren können, z. B. von lokalen Umgebungen oder von anderen Cloud Storage-Anbietern. Der Storage Transfer Service unterstützt verschiedene Arten von Datenübertragungsjobs, darunter:
- Einmalige Übertragungsjobs, die bei Bedarf Daten aus Amazon S3 oder anderen unterstützten Quellen zu Cloud Storage übertragen.
- Geplante Übertragungsjobs, die nach einem Zeitplan Daten von Amazon S3 oder anderen unterstützten Quellen zu Cloud Storage übertragen.
- Ereignisgesteuerte Übertragungsjobs, die Daten automatisch übertragen, wenn Amazon S3 Ereignisbenachrichtigungen an Amazon Simple Queue Service (SQS) sendet.
Zum Implementieren eines Datenmigrationsplans können Sie einen oder mehrere Datenübertragungsjobs konfigurieren. Wenn Sie beispielsweise während der Migration die Dauer der Umstellungsfenster verringern möchten, können Sie eine Strategie für eine Datenmigration mit kontinuierlicher Replikation implementieren:
- Konfigurieren Sie einen einmaligen Übertragungsjob, um die Daten aus einem Amazon S3-Bucket in den Cloud Storage-Bucket zu kopieren.
- Führen Sie Datenüberprüfungen und Konsistenzprüfungen durch, um die Daten im Amazon S3-Bucket mit den kopierten Daten im Cloud Storage-Bucket zu vergleichen.
- Richten Sie ereignisgesteuerte Übertragungsjobs ein, um Daten automatisch aus dem Amazon S3-Bucket in den Cloud Storage-Bucket zu übertragen, wenn sich der Inhalt des Amazon S3-Buckets ändert.
- Halten Sie die Arbeitslasten und Dienste an, die Zugriff auf die zu migrierenden Daten haben, d. h. auf die Daten aus dem vorherigen Schritt.
Refaktorieren Sie Arbeitslasten, sodass sie Cloud Storage anstelle von Amazon S3 verwenden. Sie können Ihre Arbeitslasten mit einem der folgenden Ansätze oder durch sequenzielle Anwendung der Ansätze refaktorieren:
- Einfache Migration von Amazon S3 zu Cloud Storage. Bei einer einfachen Migration verwenden Sie vorhandene Tools und Bibliotheken, die authentifizierte REST-Anfragen an Amazon S3 generieren, um stattdessen authentifizierte Anfragen an Cloud Storage zu generieren.
- Vollständig von Amazon S3 zu Cloud Storage migrieren. Bei einer vollständigen Migration können Sie alle Features von Cloud Storage verwenden, einschließlich mehrerer Projekte und OAuth 2.0 zur Authentifizierung.
Warten Sie, bis die Replikation Cloud Storage vollständig mit Amazon S3 synchronisiert hat.
Starten Sie die Arbeitslasten.
Wenn Sie Ihre Amazon S3-Umgebung nicht mehr als Fallback-Option benötigen, deaktivieren Sie sie.
Storage Transfer Service kann bestimmte Metadaten beibehalten, wenn Sie Objekte von einer unterstützten Quelle zu Cloud Storage migrieren. Wir empfehlen Ihnen zu prüfen, ob Storage Transfer Service die Amazon S3-Metadaten migrieren kann, die Sie interessieren.
Beim Entwerfen Ihres Datenmigrationsplans empfehlen wir, auch die Kosten für ausgehenden AWS-Netzwerk-Traffic sowie Ihre Amazon S3-Kosten zu prüfen. Berücksichtigen Sie beispielsweise die folgenden Optionen zur Datenübertragung:
- Über das öffentliche Internet.
- Über einen Interconnect-Link.
- Über Amazon CloudFront.
Die ausgewählte Option kann sich auf Ihre AWS-Kosten für ausgehenden Netzwerk-Traffic sowie auf Ihre Amazon S3-Kosten auswirken. Die Option kann sich auch auf den Aufwand und die Ressourcen auswirken, die Sie zum Bereitstellen und Konfigurieren der Infrastruktur benötigen. Weitere Informationen zu den Kosten finden Sie hier:
- Informationen zu Datenübertragungsgebühren in der AWS-Dokumentation
- Amazon S3 – Preise
Für die Migration von Daten von Amazon S3 zu Cloud Storage wird empfohlen, einen Perimeter mit VPC Service Controls zu erstellen, der die Kommunikation zwischen Google Cloud-Diensten explizit ablehnt, es sei denn, die Dienste sind autorisiert.
Google Cloud-Umgebung optimieren
Die Optimierung ist die letzte Phase Ihrer Migration. In dieser Phase iterieren Sie Optimierungsaufgaben, bis Ihre Zielumgebung Ihre Optimierungsanforderungen erfüllt. Die Iteration umfasst folgende Schritte:
- Bewerten Sie die aktuelle Umgebung, Teams und Optimierungsschleife.
- Optimierungsanforderungen und -ziele festlegen.
- Umgebung und Teams optimieren.
- Verbessern Sie die Optimierungsschleife.
Wiederholen Sie diese Sequenz, bis Sie Ihre Optimierungsziele erreicht haben.
Weitere Informationen zum Optimieren Ihrer Google Cloud-Umgebung finden Sie unter Migrate to Google Cloud: Optimieren Sie Ihre Umgebung und den Leistungsoptimierungsprozess.
Nächste Schritte
- Informationen zu anderen Migrationspfaden von AWS zu Google Cloud
- AWS- und Azure-Dienste mit Google Cloud vergleichen.
- Hilfe für Migrationen erhalten
- Weitere Referenzarchitekturen, Diagramme und Best Practices finden Sie im Cloud-Architekturcenter.
Beitragende
Autor: Marco Ferrari | Cloud Solutions Architect