Google Cloud fournit des outils, des produits, des conseils et des services professionnels pour vous aider à migrer des données depuis Amazon Simple Storage Service (Amazon S3) vers Cloud Storage. Ce document explique comment concevoir, mettre en œuvre et valider un plan de migration depuis Amazon S3 vers Cloud Storage. Ce document décrit une partie du processus de migration global dans lequel vous créez un inventaire d'artefacts Amazon S3 et créez un plan pour gérer le processus de migration.
Ce document est destiné aux administrateurs cloud qui souhaitent en savoir plus sur la planification et la mise en œuvre d'un processus de migration. Il s'adresse également aux décisionnaires qui évaluent l'opportunité d'effectuer une migration et qui souhaitent découvrir en quoi elle pourrait consister.
Ce document fait partie d'une série d'articles sur la migration depuis AWS vers Google Cloud, qui comprend les documents suivants :
- Commencer
- Migrer depuis Amazon EC2 vers Compute Engine
- Migrer depuis Amazon S3 vers Cloud Storage (ce document)
- Migrer depuis Amazon EKS vers Google Kubernetes Engine
- Migrer depuis Amazon RDS et Amazon Aurora pour MySQL vers Cloud SQL pour MySQL
- Migrer depuis Amazon RDS et Amazon Aurora pour PostgreSQL vers Cloud SQL pour PostgreSQL et AlloyDB pour PostgreSQL
- Migrer depuis Amazon RDS pour SQL Server vers Cloud SQL pour SQL Server
- Migrer d'AWS Lambda vers Cloud Run
Pour cette migration vers Google Cloud, nous vous recommandons de suivre le framework de migration décrit dans la section Migrer vers Google Cloud : premiers pas.
Le diagramme suivant illustre le parcours de votre migration.
Vous pouvez migrer depuis votre environnement source vers Google Cloud dans une série d'itérations. Par exemple, vous pouvez commencer par migrer certaines charges de travail, et en migrer d'autres ultérieurement. Pour chaque itération de migration distincte, vous suivez les phases du framework de migration général :
- Évaluer et découvrir vos charges de travail et vos données
- Planifier et établir vos fondations sur Google Cloud
- Migrer vos charges de travail et vos données vers Google Cloud
- Optimiser votre environnement Google Cloud
Pour en savoir plus sur les phases de ce framework, consultez la page Migrer vers Google Cloud : premiers pas.
Pour concevoir un plan de migration efficace, nous vous recommandons de valider chaque étape du plan et de vous assurer de disposer d'une stratégie de rollback. Pour vous aider à valider votre plan de migration, consultez la page Migrer vers Google Cloud : bonnes pratiques pour valider un plan de migration.
Évaluer l'environnement source
Au cours de la phase d'évaluation, vous déterminez les exigences et les dépendances pour migrer votre environnement source vers Google Cloud.
La phase d’évaluation est cruciale pour la réussite de votre migration. Vous devez acquérir une connaissance approfondie des charges de travail que vous souhaitez migrer, de leurs exigences, de leurs dépendances et de votre environnement actuel. Vous devez comprendre votre point de départ pour planifier et exécuter avec succès une migration Google Cloud.
La phase d'évaluation comprend les tâches suivantes :
- Dresser un inventaire complet de vos applications
- Cataloguer vos charges de travail en fonction de leurs propriétés et de leurs dépendances
- Former et préparer vos équipes sur Google Cloud
- Créer des tests et des démonstrations de faisabilité sur Google Cloud
- Calculer le coût total de possession (TCO) de l'environnement cible
- Choisissez la stratégie de migration pour vos charges de travail.
- Choisissez vos outils de migration.
- Définissez le plan de migration et le calendrier.
- Validez votre plan de migration.
Pour en savoir plus sur la phase d'évaluation et ces tâches, consultez la page Migrer vers Google Cloud : évaluer et découvrir vos charges de travail. Les sections suivantes sont basées sur les informations de ce document.
Dresser un inventaire de vos buckets Amazon S3
Pour définir la portée de votre migration, vous devez créer deux inventaires : un inventaire de vos buckets Amazon S3 et un inventaire des objets stockés dans ces buckets.
Après avoir créé l'inventaire de vos buckets Amazon S3, affinez l'inventaire en tenant compte des points de données suivants pour chaque bucket Amazon S3 :
- La façon dont vous avez configuré le chiffrement côté serveur du bucket Amazon S3.
- Vos paramètres pour la gestion de l'authentification et des accès dans le bucket Amazon S3.
- La configuration du blocage de l'accès public pour le bucket S3.
- Tous les tags d'allocation de coûts pour les buckets Amazon S3.
- La Configuration du verrouillage d'objet dans le bucket S3.
- La façon dont vous accédez au bucket Amazon S3.
- La manière dont vous avez configuré les paiements par le demandeur.
- Les paramètres de la gestion des versions des objets dans Amazon S3.
- La configuration des règles de sauvegarde AWS pour Amazon S3.
- Si vous utilisez ou non la hiérarchisation intelligente d'Amazon S3.
- La façon dont vous avez configuré la réplication d'objets dans Amazon S3.
- Le cycle de vie des objets dans Amazon S3.
Nous vous recommandons également de collecter des données sur vos buckets Amazon S3, qui vous permettent de calculer des statistiques globales sur les objets qu'ils contiennent. Par exemple, si vous collectez la taille totale des objets, leur taille moyenne et leur nombre, cela peut vous aider à estimer le temps et le coût nécessaires pour effectuer une migration depuis un bucket Amazon S3 vers un bucket Cloud Storage.
Pour créer l'inventaire de vos buckets Amazon S3 et collecter des points de données à leur sujet, vous pouvez mettre en œuvre des mécanismes et des processus de collecte de données basés sur des outils AWS, tels que les suivants:
- Outils de surveillance Amazon S3
- Analyses Amazon S3
- Agrégation des données multicomptes et multirégions AWS
- API AWS
- Outils pour les développeurs AWS
- Interface de ligne de commande AWS
Pour vous aider à éviter les problèmes lors de la migration et à estimer les efforts nécessaires à celle-ci, nous vous recommandons d'évaluer les similitudes entre les caractéristiques des buckets Amazon S3 et celles des buckets Cloud Storage. Le tableau suivant récapitule ce comparatif.
Comme indiqué précédemment, les caractéristiques listées dans le tableau précédent peuvent sembler similaires lorsque vous les comparez l'une à l'autre. Cependant, les différences de conception et de mise en œuvre des caractéristiques entre les deux fournisseurs cloud peuvent avoir des répercussions significatives sur votre migration depuis Amazon S3 vers Cloud Storage.
Dresser un inventaire des objets stockés dans vos objets Amazon S3
Après avoir créé l'inventaire de vos buckets Amazon S3, nous vous recommandons d'utiliser cet inventaire Amazon S3 pour dresser un inventaire des objets qu'ils contiennent.
Pour créer l'inventaire de vos objets Amazon S3, tenez compte des points suivants pour chaque objet :
- Nom de l'objet Amazon S3
- Taille de l'objet Amazon S3
- Métadonnées de l'objet Amazon S3
- Sous-ressources de l'objet Amazon S3
- Versions d'objet Amazon S3, et si vous devez ou non effectuer la migration de ces versions
- URL présignées de l'objet Amazon S3
- Transformations de l'objet Amazon S3
- Tags de l'objet Amazon S3
- Classes de stockage de l'objet Amazon S3
- Archivage de l'objet Amazon S3
Nous vous recommandons également de collecter des données sur vos objets Amazon S3 afin de comprendre la fréquence à laquelle vous, ainsi que vos charges de travail, définissez des créations, des mises à jour et des suppressions d'objets Amazon S3.
Pour vous aider à éviter les problèmes lors de la migration et à estimer les efforts nécessaires à celle-ci, nous vous recommandons d'évaluer les similitudes entre les caractéristiques des objets Amazon S3 et celles des objets Cloud Storage. Le tableau suivant récapitule ce comparatif.
Comme indiqué précédemment, les caractéristiques listées dans le tableau précédent peuvent sembler similaires lorsque vous les comparez l'une à l'autre. Cependant, les différences de conception et de mise en œuvre des caractéristiques entre les deux fournisseurs cloud peuvent avoir des répercussions significatives sur votre migration depuis Amazon S3 vers Cloud Storage.
Terminer l'évaluation
Après avoir créé les inventaires liés à votre environnement Amazon S3, effectuez les autres étapes de la phase d'évaluation décrites dans la page Migrer vers Google Cloud : évaluer et découvrir vos charges de travail.
Planifier et établir vos fondations
Au cours de la phase de planification et de compilation, vous provisionnez et configurez l'infrastructure pour effectuer les opérations suivantes :
- Exécuter vos charges de travail dans votre environnement Google Cloud
- Se connecter à votre environnement source et à votre environnement Google Cloud pour effectuer la migration
La phase de planification et de compilation est composée des tâches suivantes :
- Créez une hiérarchie de ressources.
- Configurer Identity and Access Management (IAM) de Google Cloud
- Configurer la facturation
- Configurez la connectivité réseau.
- Renforcez votre sécurité.
- Configurer la journalisation, la surveillance et les alertes
Pour en savoir plus sur chacune de ces tâches, consultez la section Migrer vers Google Cloud: planifier et créer vos fondations.
Migrer des données et des charges de travail depuis Amazon S3 vers Cloud Storage
Pour migrer des données depuis Amazon S3 vers Cloud Storage, nous vous recommandons de concevoir un plan de migration de données en suivant les instructions de la page Migrer vers Google Cloud : transférer vos ensembles de données volumineux. Ce document recommande d'utiliser le service de transfert de stockage, un produit Google Cloud qui vous permet de migrer des données depuis plusieurs sources vers Cloud Storage, par exemple depuis des environnements sur site ou d'autres fournisseurs de stockage dans le cloud. Le service de transfert de stockage accepte plusieurs types de jobs de transfert de données, tels que les suivants :
- Les jobs de transfert ponctuels, qui transfèrent des données depuis Amazon S3 ou d'autres sources compatibles vers Cloud Storage, selon une approche à la demande.
- Les jobs de transfert planifiés, qui transfèrent des données depuis Amazon S3 ou d'autres sources compatibles vers Cloud Storage, de manière planifiée.
- Les jobs de transfert basés sur des événements, qui transfèrent automatiquement des données lorsqu'Amazon S3 envoie des notifications d'événement Amazon S3 au service Amazon Simple Queue Service (SQS).
Pour mettre en œuvre un plan de migration de données, vous pouvez configurer un ou plusieurs jobs de transfert de données. Par exemple, pour réduire la durée des intervalles de basculement lors de la migration, vous pouvez mettre en œuvre une stratégie de migration de données de réplication continue, en procédant comme suit :
- Configurez un job de transfert ponctuel afin de copier des données depuis un bucket Amazon S3 vers le bucket Cloud Storage.
- Effectuez des vérifications de cohérence et de validation des données afin de comparer les données du bucket Amazon S3 avec les données copiées dans le bucket Cloud Storage.
- Configurez des jobs de transfert basés sur des événements afin de transférer automatiquement des données depuis le bucket Amazon S3 vers le bucket Cloud Storage, lorsque le contenu du bucket Amazon S3 est modifié.
- Arrêtez les charges de travail et les services ayant accès aux données en cours de migration (c'est-à-dire les données concernées par l'étape précédente).
Refactorisez les charges de travail afin d'utiliser Cloud Storage, et non plus Amazon S3. Vous pouvez refactoriser vos charges de travail soit en utilisant l'une des approches suivantes, soit en les appliquant l'une après l'autre :
- Effectuer une migration simple depuis Amazon S3 vers Cloud Storage. Lors d'une migration simple, vous utilisez vos outils et bibliothèques existants qui génèrent des requêtes REST authentifiées vers Amazon S3, afin de générer à la place des requêtes authentifiées vers Cloud Storage.
- Effectuer une migration complète depuis Amazon S3 vers Cloud Storage. Dans une migration complète, vous pouvez utiliser toutes les fonctionnalités de Cloud Storage, y compris la prise en charge de projets multiples et d'OAuth 2.0 pour l'authentification.
Attendez que la réplication synchronise entièrement Cloud Storage avec Amazon S3.
Démarrez vos charges de travail.
Lorsque vous n'avez plus besoin de votre environnement Amazon S3 comme option de secours, supprimez-le.
Le service de transfert de stockage peut conserver certaines métadonnées lorsque vous migrez des objets depuis une source compatible vers Cloud Storage. Nous vous recommandons d'évaluer si le service de transfert de stockage peut migrer les métadonnées Amazon S3 qui vous intéressent.
Lorsque vous concevez votre plan de migration de données, nous vous recommandons également d'évaluer les coûts de sortie réseau AWS et vos coûts Amazon S3. Par exemple, considérons les options suivantes pour un transfert de données :
- Sur l'Internet public
- En utilisant une liaison d'interconnexion
- En utilisant Amazon CloudFront
L'option que vous choisissez peut avoir un impact sur les coûts de sortie réseau AWS et sur les coûts Amazon S3. Elle peut également influer sur les efforts à déployer et les ressources à mobiliser pour provisionner et configurer l'infrastructure. Pour en savoir plus sur les coûts, consultez les pages suivantes :
- Comprendre les frais de transfert de données, dans la documentation AWS
- Tarifs d'Amazon S3
Lorsque vous migrez des données depuis Amazon S3 vers Cloud Storage, nous vous recommandons d'utiliser VPC Service Controls pour créer un périmètre ; celui-ci va interdire explicitement la communication entre les services Google Cloud, sauf si ces services sont autorisés.
Optimiser votre environnement Google Cloud
L'optimisation est la dernière phase de votre migration. Au cours de cette phase, vous effectuez des itérations sur les tâches d'optimisation jusqu'à ce que votre environnement réponde à vos exigences d'optimisation. Les étapes de chaque itération sont les suivantes :
- Évaluer votre environnement actuel, vos équipes et votre boucle d'optimisation
- Définir vos exigences et vos objectifs d'optimisation
- Optimiser votre environnement et vos équipes
- Ajuster la boucle d'optimisation
Vous devez répéter cette séquence jusqu'à ce que vous ayez atteint vos objectifs d'optimisation.
Pour en savoir plus sur l'optimisation de votre environnement Google Cloud, consultez les pages Migrer vers Google Cloud : optimiser votre environnement et Processus d'optimisation des performances.
Étape suivante
- Découvrez d'autres parcours de migration d'AWS vers Google Cloud.
- Découvrez comment comparer les services AWS et Azure à Google Cloud.
- Découvrez à quel moment obtenir de l'aide pour vos migrations.
- Pour découvrir d'autres architectures de référence, schémas et bonnes pratiques, consultez le Centre d'architecture cloud.
Contributeurs
Auteur: Marco Ferrari | Architecte de solutions cloud