Concevez une stratégie de stockage optimale pour votre charge de travail cloud

Ce guide vous aide à évaluer les besoins en stockage de votre charge de travail cloud, à comprendre les options de stockage disponibles dans Google Cloudet à concevoir une stratégie de stockage offrant une valeur commerciale optimale.

Pour obtenir un récapitulatif visuel des principales recommandations de conception, consultez le schéma de l'arbre de décision.

Pour savoir comment sélectionner des services de stockage pour les charges de travail d'IA et de ML, consultez Choisir son stockage pour les charges de travail d'IA et de ML dans Google Cloud.

Présentation du processus de conception

En tant qu'architecte cloud, lorsque vous planifiez le stockage d'une charge de travail cloud, vous devez d'abord tenir compte des caractéristiques fonctionnelles de la charge de travail, des contraintes de sécurité, des exigences de résilience, des attentes en termes de performances et des objectifs de coûts. Ensuite, vous devez examiner les services et fonctionnalités de stockage disponibles dansGoogle Cloud. Alors, en fonction de vos besoins et des options disponibles, vous sélectionnez les services de stockage et les fonctionnalités dont vous avez besoin. Le schéma suivant illustre ce processus de conception en trois phases :

Définir vos exigences

Utilisez les questionnaires de cette section afin de définir les exigences de stockage clés pour la charge de travail que vous souhaitez déployer dans Google Cloud.

Consignes pour la définition des exigences de stockage

Lorsque vous répondez aux questionnaires, tenez compte des éléments suivants :

• Définissez les exigences de manière précise

  Par exemple, si votre application nécessite un stockage de fichiers basé sur le système NFS (Network File System), identifiez la version NFS requise.

• Tenez compte des exigences futures

  Par exemple, votre déploiement actuel peut desservir les utilisateurs des pays d'Asie, mais vous envisagez peut-être de développer votre activité sur d'autres continents. Dans ce cas, prenez en considération les exigences réglementaires liées au stockage pour les nouveaux territoires d'activité.

• Tenez compte des opportunités et exigences spécifiques au cloud

  • Tirez parti des opportunités spécifiques au cloud.

    Par exemple, pour optimiser le coût de stockage des données hébergées dans Cloud Storage, vous pouvez contrôler la durée de stockage à l'aide de règles de conservation des données et de configurations de cycle de vie.

  • Tenez compte des exigences spécifiques au cloud.

    Par exemple, les données sur site peuvent exister dans un centre de données unique, et vous devrez peut-être répliquer les données migrées vers deux emplacementsGoogle Cloud afin d'assurer la redondance.

Questionnaires

Les questionnaires suivants ne constituent pas des checklists exhaustives pour la planification. Utilisez-les comme point de départ pour analyser de manière systématique toutes les exigences de stockage de la charge de travail que vous souhaitez déployer sur Google Cloud.

Évaluer les caractéristiques de votre charge de travail

• Quel type de données devez-vous stocker ?

  Exemples

  • Contenu de site Web statique
  • Sauvegardes et archives pour la reprise après sinistre
  • Journaux d'audit pour la conformité
  • Objets de données volumineux téléchargés directement par les utilisateurs
  • Données transactionnelles
  • Données non structurées et hétérogènes

• De quelle capacité avez-vous besoin ? Tenez compte de vos exigences actuelles et futures.

• La capacité doit-elle évoluer automatiquement avec l'utilisation ?

• Quelles sont les conditions d'accès ? Par exemple, les données doivent-elles être accessibles depuis l'extérieur de Google Cloud ?

• Quels sont les modèles de lecture/écriture attendus ?

  Exemples

  • Écritures et lectures fréquentes
  • Écritures fréquentes, mais lectures occasionnelles
  • Écritures et lectures occasionnelles
  • Écritures occasionnelles, mais lectures fréquentes

• La charge de travail nécessite-t-elle un accès basé sur les fichiers, en utilisant NFS par exemple ?

• Plusieurs clients doivent-ils être en mesure de lire ou d'écrire des données simultanément ?

Identifier les contraintes de sécurité

• Quelles sont vos exigences en termes de chiffrement des données ? Par exemple, avez-vous besoin d'utiliser des clés que vous contrôlez ?

• Existe-t-il des exigences de résidence des données ?

Définir les exigences en termes de résilience des données

• Votre charge de travail nécessite-t-elle une mise en cache à faible latence ou un espace de travail ?
• Avez-vous besoin de répliquer les données dans le cloud pour la redondance ?
• Avez-vous besoin d'une cohérence stricte en lecture/écriture pour les ensembles de données répliqués ?

Définir les attentes en termes de performances

• Quel est le taux d'E/S requis ?

• De quels niveaux de débit en lecture et en écriture votre application a-t-elle besoin ?

• Quels sont les environnements pour lesquels vous avez besoin de stockage ? Pour une charge de travail donnée, vous avez peut-être besoin d'une solution de stockage hautes performances pour l'environnement de production, mais vous pouvez choisir une option moins performante pour les environnements hors production.

Examiner les options de stockage

Google Cloud propose des services de stockage pour tous les formats de stockage clés : blocs, fichiers et objets. Examinez et évaluez les fonctionnalités, les options de conception et les avantages relatifs des services disponibles pour chaque format de stockage.

Présentation

Analyse comparative

Le tableau suivant répertorie les principales fonctionnalités des services de stockage dansGoogle Cloud.

	Persistent Disk	Hyperdisk	SSD local	Filestore	Managed Lustre	NetApp Volumes	Cloud Storage
Capacité fullscreen	10 Gio à 64 Tio par disque Jusqu'à 257 Tio par VM	4 Gio à 64 Tio par disque Jusqu'à 512 Tio par VM 10 Tio à 1 Pio par pool de stockage	375 Gio par disque Jusqu'à 12 Tio par VM Titanium SSD est une option de SSD local à plus grande capacité.	1 à 100 Tio par instance	18 Tio à 8 Pio	1 Tio à 10 Pio par pool de stockage 1 Gio à 1 Pio par volume	Pas de limite inférieure ou supérieure
Scaling aspect_ratio	Effectuer un scaling à la hausse Ajouter et supprimer des disques Autoscaling	Effectuer un scaling à la hausse	Non évolutif	De base : scaling à la hausse Niveau zonal et régional : scaling à la hausse et à la baisse	Non évolutif	Scaling à la hausse et à la baisse	Scaling automatique en fonction de l'utilisation
Partage share	Compatible	Compatible	Non partageable	Peut être installé sur plusieurs VM Compute Engine, clients distants et clusters GKE	Peut être installé sur plusieurs VM Compute Engine et clusters GKE.	Peut être installé sur plusieurs VM Compute Engine et clusters GKE	Lecture/écriture où que vous soyez Intégration avec Cloud CDN et les CDN tiers
Options des clés de chiffrement enhanced_encryption	Google-owned and Google-managed encryption keys Gérée par le client Fournie par le client	Google-owned and Google-managed encryption keys Gérée par le client Fournie par le client	Google-owned and Google-managed encryption keys	Google-owned and Google-managed encryption keys Gérées par le client (niveaux zonal et régional)	Google-owned and Google-managed encryption keys	Google-owned and Google-managed encryption keys Gérée par le client	Google-owned and Google-managed encryption keys Gérée par le client Fournie par le client
Persistance save	Durée de vie du disque	Durée de vie du disque	Éphémère (les données sont perdues lorsque la VM est arrêtée ou supprimée)	Durée de vie de l'instance Filestore	Durée de vie de l'instance Managed Lustre	Durée de vie du volume	Durée de vie du bucket
Qui peut en bénéficier ? content_copy	Zonal Réplication interzone Instantanés (manuels ou programmés) Clonage de disque	Zonal Clonage de disque Réplication interzone	Zonal	Régional ou zonal selon le niveau Instantanés pour les niveaux zonal et régional Sauvegardes Duplication	Zonal	Régional (Flex) ou zonal (tous les niveaux) Sauvegardes Instantanés Réplication interrégionale	Données redondantes entre les zones Options de redondance entre régions
Performances speed	Scaling linéaire avec la taille du disque et le nombre de processeurs	Stockage persistant à scaling dynamique	Stockage temporaire hautes performances	De base : performances cohérentes Zonal et régional : scaling dynamique	Scaling linéaire avec la capacité provisionnée	Performances évolutives Les attentes dépendent du niveau de service.	Autoscaling des taux de lecture/écriture et redistribution dynamique de la charge Anywhere Cache
Gestion construction	Formater et installer manuellement	Formater et installer manuellement	Formater, mettre en bande et monter manuellement	Entièrement géré	Entièrement géré	Entièrement géré	Entièrement géré

Le tableau suivant répertorie les types de charge de travail pour lesquels chaque option de stockage Google Cloudest appropriée :

Option de stockage	Types de charges de travail
Persistent Disk	Applications sensibles à la latence ou nécessitant un nombre élevé d'IOPS Bases de données Stockage partagé en lecture seule Sauvegardes de VM rapides et durables
Hyperdisk	Applications sensibles à la latence ou nécessitant un nombre élevé d'IOPS Bases de données Stockage partagé en lecture seule Sauvegardes de VM rapides et durables Analyse à scaling horizontal
SSD local	Bases de données optimisées pour la mémoire Flash Mise en cache à chaud pour l'analyse Espace de travail
Filestore	Systèmes de fichiers sur site Lift and Shift Fichiers de configuration partagés Outils et utilitaires courants Journaux centralisés
Managed Lustre	Charges de travail d'IA et de ML HPC
NetApp Volumes	Systèmes de fichiers sur site Lift and Shift Fichiers de configuration partagés Outils et utilitaires courants Journaux centralisés Charges de travail Windows
Cloud Storage	Diffuser des vidéos en streaming Bibliothèques d'éléments multimédias Lacs de données à haut débit Sauvegardes et archives Contenus à longue traîne

Choisir une option de stockage

La sélection d'une option de stockage s'effectue en deux étapes :

• Choix des services de stockage dont vous avez besoin
• Choix des fonctionnalités et des options de conception requises dans un service donné

  Exemples de fonctionnalités et d'options de conception spécifiques aux services

  Persistent Disk

  • Région et zone de déploiement
  • Réplication régionale
  • Type, taille et IOPS du disque (pour les disques persistants extrêmes)
  • Clés de chiffrement : appartenant à Google, gérées par Google, gérées par le client ou fournies par le client
  • Programmation des instantanés

  Hyperdisk

  • Zone de déploiement
  • Type de disque, taille, débit (pour Hyperdisk Throughput) et IOPS (pour Hyperdisk Extreme)
  • Clés de chiffrement : appartenant à Google, gérées par Google, gérées par le client ou fournies par le client
  • Programmation des instantanés

  Filestore

  • Région et zone de déploiement
  • Niveau d'instance
  • Capacité
  • Plage d'adresses IP : allouée automatiquement ou personnalisée
  • Contrôle des accès

  NetApp Volumes

  • Région de déploiement
  • Niveau de service du pool de stockage
  • Capacité du pool et du volume
  • Protocole de volume
  • Règles d'exportation des volumes

  Cloud Storage

  • Zone : multirégionale, birégionale, régionale unique
  • Classe de stockage : Standard, Nearline, Coldline, Archive
  • Contrôle d'accès : uniforme ou précis
  • Clés de chiffrement : appartenant à Google, gérées par Google, gérées par le client ou fournies par le client
  • Règle de conservation

Recommandations de stockage

Utilisez les recommandations suivantes comme point de départ pour choisir les services et les fonctionnalités de stockage répondant à vos besoins. Pour obtenir des conseils spécifiques aux charges de travail d'IA et de ML, consultez Choisir son stockage pour les charges de travail d'IA et de ML dans Google Cloud.

Les recommandations générales de stockage sont également présentées sous la forme d'un arbre de décision plus loin dans ce document.

• Pour les applications qui nécessitent un système de fichiers parallèles, utilisez Managed Lustre.

• Pour les applications nécessitant un accès basé sur des fichiers, choisissez un service de stockage de fichiers qui soit adapté à vos exigences concernant le protocole d'accès, la disponibilité et les performances.

  Protocole d'accès	Recommandation
  NFS	Si vous avez besoin d'une disponibilité régionale et de hautes performances qui évoluent en fonction de la capacité, utilisez la déclinaison régionale de Filestore. Si la disponibilité zonale est suffisante, mais que vous avez besoin de hautes performances qui évoluent en fonction de la capacité, utilisez Filestore Zonal ou NetApp Volumes Premium ou Extreme. Sinon, utilisez le niveau de base de Filestore ou NetApp Volumes. Pour en savoir plus sur les différences entre les niveaux de service Filestore, consultez la section Niveaux de service.
  PME	Utilisez NetApp Volumes.

• Pour les charges de travail nécessitant un stockage principal hautes performances, utilisez Hyperdisk, un SSD local ou un disque persistant en fonction de vos besoins.

  Exigence	Recommandation
  Espace de travail ou cache rapide	Utilisez des disques SSD locaux (éphémères).
  Stockage de blocs dont les performances et la capacité peuvent être mises à l'échelle indépendamment	Utilisez Hyperdisk. Choisissez un type de disque approprié en fonction de vos besoins : Charges de travail à usage général : hyperdisk-balanced Charges de travail à E/S élevées, telles que les bases de données hautes performances : hyperdisk-extreme Analyses évolutives, lecteurs de données pour les applications sensibles aux coûts et stockage à froid : hyperdisk-throughput Charges de travail de ML nécessitant un débit élevé vers plusieurs VM en mode lecture seule : hyperdisk-ml en mode lecture seule Plusieurs VM d'une même région ayant un accès en écriture simultané au même disque : hyperdisk-balanced-high-availability en mode multi-écrivain Pour en savoir plus, consultez À propos d' Google Cloud Hyperdisk.
  Stockage de blocs avec une capacité évolutive	Utilisez un disque persistant. Choisissez un type de disque approprié en fonction de vos besoins : IOPS séquentielles : pd-standard Charges de travail nécessitant un nombre élevé d'IOPS : pd-extreme ou pd-ssd Équilibre entre performances et coûts : pd-balanced Pour en savoir plus, consultez À propos de Persistent Disk.

  • Selon vos exigences de redondance, choisissez des disques zonaux ou régionaux.

    Exigence	Recommandation
    Redondance au sein d'une zone unique d'une région	Utilisez Hyperdisk ou un disque persistant zonal.
    Redondance dans plusieurs zones d'une même région	Utilisez Hyperdisk à haute disponibilité ou un disque persistant régional.

• Pour un stockage à échelle illimitée et disponible dans le monde entier, utilisez Cloud Storage.

  En fonction de la fréquence d'accès aux données et de la durée de stockage, choisissez une classe Cloud Storage adaptée.

  Exigence	Recommandation>
  La fréquence d'accès varie, ou la période de conservation des données est inconnue ou imprévisible.	Utilisez la fonctionnalité Classe automatique pour faire passer automatiquement les objets d'un bucket aux classes de stockage appropriées en fonction du modèle d'accès de chaque objet.
  Stockage de données soumises à des accès fréquents, y compris pour les lacs de données, les analyses à haut débit, les sites Web, les vidéos en streaming et les applications mobiles.	Utilisez la classe de stockage Standard. Pour mettre en cache des données fréquemment consultées et les diffuser à partir d'emplacements proches des clients, utilisez Cloud CDN. Pour les charges de travail à forte intensité de lecture avec des modifications de données peu fréquentes et des lectures fréquentes (comme l'entraînement, l'inférence et l'analyse du ML), vous pouvez améliorer les performances de lecture et réduire les coûts de transfert de données en utilisant Anywhere Cache.
  Stockage à faible coût pour les données rarement consultées, qui peuvent être stockées pendant au moins 30 jours (par exemple, des sauvegardes et des contenus multimédias à longue traîne)	Utilisez la classe de stockage Nearline.
  Stockage à faible coût pour les données rarement consultées, qui peuvent être stockées pendant au moins 90 jours (par exemple, reprise après sinistre).	Utilisez la classe de stockage Coldline.
  Stockage le plus économique pour les données rarement consultées, qui peuvent être stockées pendant au moins 365 jours, y compris les archives réglementaires.	Utilisez la classe de stockage Archive.

  Pour une analyse comparative détaillée, consultez la page Classes de Cloud Storage.

Options de transfert de données

Une fois que vous avez choisi les services de stockage Google Cloud appropriés, vous devez transférer vos données vers Google Cloudpour déployer et exécuter des charges de travail. Les données que vous devez transférer peuvent exister sur site ou sur d'autres plates-formes cloud.

Vous pouvez utiliser les méthodes suivantes pour transférer des données vers Google Cloud :

• Transférez des données en ligne à l'aide du service de transfert de stockage : automatisez le transfert de grandes quantités de données entre les systèmes de stockage d'objets et de fichiers, y compris Cloud Storage, Amazon S3, les services de stockage Azure et des sources de données sur site.
• Transférez des données hors connexion à l'aide de Transfer Appliance : transférez et chargez de grandes quantités de données hors connexion vers Google Cloud dans des situations où la connectivité réseau et la bande passante sont indisponibles, limitées ou coûteuses.
• Importation de données dans Cloud Storage : importez des données en ligne dans des buckets Cloud Storage à l'aide de la console Google Cloud , de gcloud CLI, des API Cloud Storage ou des bibliothèques clientes.

Lorsque vous choisissez une méthode de transfert de données, tenez compte de facteurs tels que la taille des données, les contraintes de temps, la disponibilité de la bande passante, les objectifs de coûts, ainsi que les exigences de sécurité et de conformité. Pour savoir comment planifier et mettre en œuvre des transferts de données vers Google Cloud, consultez Migrer vers Google Cloud : transférer vos ensembles de données volumineux.

Arbre de décision des options de stockage

L'arbre de décision ci-dessous vous guide à travers les recommandations de stockage Google Clouddécrites précédemment. Pour obtenir des conseils spécifiques aux charges de travail d'IA et de ML, consultez Choisir son stockage pour les charges de travail d'IA et de ML dans Google Cloud.

Afficher une image plus grande

Étapes suivantes

• Estimez les coûts de stockage à l'aide du simulateur de coûtGoogle Cloud .
• Découvrez les bonnes pratiques permettant de créer une topologie cloud optimisée pour la sécurité, la résilience, le coût et les performances.
• Découvrez quand utiliser des systèmes de fichiers parallèles tels que Lustre pour les charges de travail HPC.

Contributeurs

Auteur : Kumar Dhanagopal | Cross-product solution developer

Autres contributeurs :

• Brennan Doyle | Architecte de solutions
• Dean Hildebrand | Directeur technique, bureau du directeur de la technologie
• Geoffrey Noer | Responsable groupe de produits
• Jack Zhou | Rédacteur technique
• Jason Wu | Directeur de la gestion des produits
• Jeff Allen | Architecte de solutions
• Samantha He | Rédactrice technique
• Sean Derrington | Group Outbound Product Manager, Stockage