Progetta una strategia di archiviazione ottimale per il tuo carico di lavoro cloud

Questa guida ti aiuta a valutare i requisiti di archiviazione del tuo carico di lavoro cloud, a comprendere le opzioni di archiviazione disponibili in Google Cloude a progettare una strategia di archiviazione che offra un valore aziendale ottimale.

Per un riepilogo visivo dei principali consigli di progettazione, consulta il diagramma ad albero decisionale.

Per informazioni sulla selezione dei servizi di archiviazione per i carichi di lavoro AI e ML, vedi Progettare l'archiviazione per i carichi di lavoro AI e ML in Google Cloud.

Panoramica del processo di progettazione

In qualità di cloud architect, quando pianifichi l'archiviazione per un carico di lavoro cloud, devi innanzitutto considerare le caratteristiche funzionali del carico di lavoro, i vincoli di sicurezza, i requisiti di resilienza, le aspettative di prestazioni e gli obiettivi di costo. Successivamente, devi esaminare i servizi e le funzionalità di archiviazione disponibili in Google Cloud. Poi, in base ai tuoi requisiti e alle opzioni disponibili, seleziona i servizi e le funzionalità di archiviazione di cui hai bisogno. Il seguente diagramma mostra questa procedura di progettazione in tre fasi:

Definisci i tuoi requisiti

Utilizza i questionari in questa sezione per definire i requisiti di archiviazione delle chiavi del carico di lavoro che vuoi implementare in Google Cloud.

Linee guida per la definizione dei requisiti di archiviazione

Quando rispondi ai questionari, tieni presente le seguenti linee guida:

• Definisci i requisiti in modo granulare

  Ad esempio, se la tua applicazione ha bisogno di spazio di archiviazione basato su Network File System (NFS), identifica la versione NFS richiesta.

• Considerare i requisiti futuri

  Ad esempio, la tua attuale implementazione potrebbe servire utenti in paesi dell'Asia, ma potresti pianificare di espandere l'attività ad altri continenti. In questo caso, considera eventuali requisiti normativi relativi all'archiviazione dei nuovi territori aziendali.

• Considera le opportunità e i requisiti specifici del cloud

  • Sfrutta le opportunità specifiche per il cloud.

    Ad esempio, per ottimizzare il costo di archiviazione dei dati memorizzati in Cloud Storage, puoi controllare la durata dell'archiviazione utilizzando le norme di conservazione dei dati e le configurazioni del ciclo di vita.

  • Considera i requisiti specifici del cloud.

    Ad esempio, i dati on-premise potrebbero esistere in un unico data center e potresti dover replicare i dati migrati in due Google Cloud posizioni per la ridondanza.

Questionari

I questionari che seguono non sono elenchi di controllo esaustivi per la pianificazione. Utilizzali come punto di partenza per analizzare sistematicamente tutti i requisiti di archiviazione del workload che vuoi implementare in Google Cloud.

Valuta le caratteristiche del carico di lavoro

• Che tipo di dati devi archiviare?

  Esempi

  • Contenuti del sito web statico
  • Backup e archivi per il ripristino di emergenza
  • Audit log per la conformità
  • Oggetti di dati di grandi dimensioni che gli utenti scaricano direttamente
  • Dati transazionali
  • Dati non strutturati ed eterogenei

• Di quanta capacità hai bisogno? Considera i tuoi requisiti attuali e futuri.

• La capacità deve essere scalata automaticamente in base all'utilizzo?

• Quali sono i requisiti di accesso? Ad esempio, i dati devono essere accessibili dall'esterno Google Cloud?

• Quali sono i pattern di lettura/scrittura previsti?

  Esempi

  • Scritture e letture frequenti
  • Scritture frequenti, ma letture occasionali
  • Scritture e letture occasionali
  • Scritture occasionali, ma letture frequenti

• Il workload richiede l'accesso basato su file, ad esempio utilizzando NFS?

• Più client devono essere in grado di leggere o scrivere dati contemporaneamente?

Identificare i vincoli di sicurezza

• Quali sono i tuoi requisiti di crittografia dei dati? Ad esempio, devi utilizzare chiavi che controlli?

• Esistono requisiti di residenza dei dati?

Definisci i requisiti di resilienza dei dati

• Il tuo workload ha bisogno di una memorizzazione nella cache a bassa latenza o di spazio di scratch?
• Hai bisogno di replicare i dati nel cloud per la ridondanza?
• Hai bisogno di una coerenza di lettura/scrittura rigorosa per i set di dati replicati?

Definisci le aspettative di rendimento

• Qual è la velocità I/O richiesta?

• Di quali livelli di velocità effettiva di lettura e scrittura ha bisogno la tua applicazione?

• Per quali ambienti hai bisogno di spazio di archiviazione? Per un determinato carico di lavoro, potresti aver bisogno di spazio di archiviazione ad alte prestazioni per l'ambiente di produzione, ma potresti scegliere un'opzione a prestazioni inferiori per gli ambienti non di produzione.

Esaminare le opzioni di archiviazione

Google Cloud offre servizi di archiviazione per tutti i formati di archiviazione chiave: a blocchi, di file e di oggetti. Esamina e valuta le funzionalità, le opzioni di progettazione e i vantaggi relativi dei servizi disponibili per ogni formato di archiviazione.

Panoramica

Analisi comparativa

La tabella seguente elenca le funzionalità chiave dei servizi di archiviazione in Google Cloud.

	Persistent Disk	Hyperdisk	SSD locale	Filestore	Managed Lustre	NetApp Volumes	Cloud Storage
Capacità fullscreen	Da 10 GiB a 64 TiB per disco Fino a 257 TiB per VM	Da 4 GiB a 64 TiB per disco Fino a 512 TiB per VM Da 10 TiB a 1 PiB per pool di archiviazione	375 GiB per disco Fino a 12 TiB per VM Titanium SSD è un'opzione SSD locale con una capacità maggiore.	1-100 TiB per istanza	Da 18 TiB a 8 PiB	Da 1 TiB a 10 PiB per pool di archiviazione Da 1 GiB a 1 PiB per volume	Nessun limite inferiore o superiore
Scalabilità aspect_ratio	Scale up Aggiungere e rimuovere dischi Scalabilità automatica	Scale up	Non scalabile	Di base: scale up A livello di zona e regionale: scale up e scale down	Non scalabile	Scale up e scale down	Scalabilità automatica in base all'utilizzo
Condivisione share	Supportato	Supportato	Non condivisibile	Montabile su più VM di Compute Engine, client remoti e cluster GKE	Può essere montato su più VM di Compute Engine e cluster GKE.	Montabile su più VM di Compute Engine e cluster GKE	Leggere/scrivere ovunque Si integra con Cloud CDN e le CDN di terze parti
Opzioni di chiave di crittografia enhanced_encryption	Google-owned and Google-managed encryption keys Gestita dal cliente Fornita dal cliente	Google-owned and Google-managed encryption keys Gestita dal cliente Fornita dal cliente	Google-owned and Google-managed encryption keys	Google-owned and Google-managed encryption keys Gestita dal cliente (livelli a livello di zona e di regione)	Google-owned and Google-managed encryption keys	Google-owned and Google-managed encryption keys Gestita dal cliente	Google-owned and Google-managed encryption keys Gestita dal cliente Fornita dal cliente
Persistenza save	Durata del disco	Durata del disco	Temporaneo (i dati vengono persi quando la VM viene arrestata o eliminata)	Durata dell'istanza Filestore	Durata dell'istanza Managed Lustre	Durata del volume	Durata del bucket
Disponibilità content_copy	A livello di zona Replica tra zone Snapshot (manuali o pianificati) Clonazione del disco	A livello di zona Clonazione del disco Replica tra zone	A livello di zona	Regionale o basato sulla zona in base al livello Snapshot per i livelli a livello di zona e regionale Backup Replica	A livello di zona	Regionale (Flex) o di zona (tutti i livelli) Backup Snapshot Replica tra regioni	Dati ridondanti tra zone Opzioni per la ridondanza tra regioni
Prestazioni speed	Scalabilità lineare con dimensioni del disco e numero di CPU	Scalabilità dinamica archiviazione permanente	Spazio di archiviazione scratch ad alte prestazioni	Base: prestazioni costanti A livello di zona e regionale: scalabilità dinamica	Scalabilità lineare con capacità di provisioning	Prestazioni scalabili Le aspettative dipendono dal livello di servizio	Scalabilità automatica delle velocità di lettura/scrittura e ridistribuzione dinamica del carico Anywhere Cache
Gestione construction	Formattare e montare manualmente	Formattare e montare manualmente	Formattare, suddividere in bande e montare manualmente	Completamente gestito	Completamente gestito	Completamente gestito	Completamente gestito

La tabella seguente elenca i tipi di workload per cui è adatta ogni Google Cloud opzione di archiviazione:

Opzione di archiviazione	Tipi di workload
Persistent Disk	Applicazioni sensibili alla latenza o che utilizzano molti IOPS Database Spazio di archiviazione condiviso di sola lettura Backup rapidi e durevoli delle VM
Hyperdisk	Applicazioni sensibili alla latenza o che utilizzano molti IOPS Database Spazio di archiviazione condiviso di sola lettura Backup rapidi e durevoli delle VM Analisi dello scale out
SSD locale	Database ottimizzati per Flash Memorizzazione nella cache ad accesso frequente per l'analisi Disco temporaneo
Filestore	Lift and shift dei file system on-premise File di configurazione condivisi Strumenti e utilità comuni Log centralizzati
Managed Lustre	Workload AI e ML HPC (computing ad alte prestazioni)
NetApp Volumes	Lift and shift dei file system on-premise File di configurazione condivisi Strumenti e utilità comuni Log centralizzati Workload Windows
Cloud Storage	Video in streaming Raccolte di asset multimediali Data lake ad alta velocità effettiva Backup e archivi Contenuti long-tail

Scegliere un'opzione di archiviazione

La selezione di un'opzione di archiviazione si articola in due parti:

• Decidere quali servizi di archiviazione ti servono.
• Scelta delle funzionalità e delle opzioni di progettazione richieste in un determinato servizio.

  Esempi di funzionalità e opzioni di design specifiche del servizio

  Persistent Disk

  • Regione e zona di deployment
  • Replica regionale
  • Tipo, dimensione e IOPS del disco (per il disco permanente con carico estremo)
  • Chiavi di crittografia: di proprietà di Google e gestite da Google, gestite dal cliente o fornite dal cliente
  • Pianificazione snapshot

  Hyperdisk

  • Zona di deployment
  • Tipo, dimensioni, throughput (per Hyperdisk Throughput) e IOPS (per Hyperdisk Extreme) del disco
  • Chiavi di crittografia: di proprietà di Google e gestite da Google, gestite dal cliente o fornite dal cliente
  • Pianificazione snapshot

  Filestore

  • Regione e zona di deployment
  • Livello istanza
  • Capacità
  • Intervallo IP: allocato automaticamente o personalizzato
  • Controllo degli accessi

  NetApp Volumes

  • Regione di deployment
  • Livello di servizio per il pool di archiviazione
  • Capacità del pool e del volume
  • Protocollo del volume
  • Regole di esportazione dei volumi

  Cloud Storage

  • Località: più regioni, due regioni, una regione
  • Classe di archiviazione: Standard, Nearline, Coldline, Archive
  • Controllo dell'accesso: uniforme o granulare
  • Chiavi di crittografia: di proprietà di Google e gestite da Google, gestite dal cliente o fornite dal cliente
  • Criterio di conservazione

Consigli per lo spazio di archiviazione

Utilizza i seguenti consigli come punto di partenza per scegliere i servizi e le funzionalità di archiviazione che soddisfano i tuoi requisiti. Per indicazioni specifiche per i carichi di lavoro AI e ML, consulta Progettare l'archiviazione per i carichi di lavoro AI e ML in Google Cloud.

Più avanti in questo documento vengono presentati anche consigli generali per l'archiviazione sotto forma di albero decisionale.

• Per le applicazioni che richiedono un file system parallelo, utilizza Managed Lustre.

• Per le applicazioni che richiedono l'accesso basato su file, scegli un servizio di archiviazione di file adatto in base ai tuoi requisiti per protocollo di accesso, disponibilità e prestazioni.

  Protocollo di accesso	Consiglio
  NFS	Se hai bisogno di disponibilità regionale e prestazioni elevate che si adattano alla capacità, utilizza Filestore regionale. Se la disponibilità zonale è sufficiente, ma hai bisogno di prestazioni elevate che si adattino alla capacità, utilizza Filestore Zonal o NetApp Volumes Premium o Extreme. Altrimenti, utilizza Filestore Basic o NetApp Volumes. Per informazioni sulle differenze tra i livelli di servizio Filestore, consulta Livelli di servizio.
  SMB	Utilizza NetApp Volumes.

• Per i carichi di lavoro che richiedono spazio di archiviazione primario con prestazioni elevate, utilizza Hyperdisk, SSD locale o Persistent Disk a seconda dei tuoi requisiti.

  Requisito	Consiglio
  Disco temporaneo rapido o cache	Utilizza dischi SSD locali (temporanei).
  Archiviazione a blocchi con prestazioni e capacità scalabili in modo indipendente	Utilizza Hyperdisk. Scegli un tipo di disco appropriato in base ai tuoi requisiti: Carichi di lavoro per uso generico: hyperdisk-balanced Workload con I/O elevato, come database ad alte prestazioni: hyperdisk-extreme Analisi dello scale out, unità di dati per app sensibili ai costi e spazio di archiviazione inattivo: hyperdisk-throughput Carichi di lavoro ML che richiedono un throughput elevato a più VM in modalità di sola lettura: hyperdisk-ml in modalità di sola lettura Più VM all'interno di una regione con accesso in scrittura simultaneo allo stesso disco: hyperdisk-balanced-high-availability in modalità multi-writer Per saperne di più, consulta Informazioni su Google Cloud Hyperdisk.
  Archiviazione a blocchi con capacità scalabile	Utilizza il disco permanente. Scegli un tipo di disco appropriato in base ai tuoi requisiti: IOPS sequenziali: pd-standard Carichi di lavoro ad alta intensità di IOPS: pd-extreme o pd-ssd Equilibrio tra prestazioni e costi: pd-balanced Per saperne di più, consulta la pagina Informazioni su Persistent Disk.

  • A seconda dei requisiti di ridondanza, scegli tra dischi zonali e regionali.

    Requisito	Consiglio
    Ridondanza all'interno di una singola zona di una regione	Utilizza Hyperdisk o Persistent Disk a livello di zona.
    Ridondanza in più zone all'interno di una regione	Utilizza Hyperdisk ad alta disponibilità o Persistent Disk regionale.

• Per uno spazio di archiviazione scalabile e disponibile a livello globale, utilizza Cloud Storage.

  A seconda della frequenza di accesso ai dati e della durata dell'archiviazione, scegli una classe di Cloud Storage adatta.

  Requisito	Consiglio>
  La frequenza di accesso varia o il periodo di conservazione dei dati è sconosciuto o non prevedibile.	Utilizza la funzionalità Autoclass per trasferire automaticamente gli oggetti di un bucket alle classi di archiviazione appropriate in base al pattern di accesso di ciascun oggetto.
  Archiviazione per i dati ad accesso frequente, inclusi quelli per analisi ad alto throughput, data lake, siti web, video in streaming e app mobile.	Utilizza la classe di archiviazione Standard. Per memorizzare nella cache i dati a cui si accede di frequente e pubblicarli da località vicine ai client, utilizza Cloud CDN. Per i workload con molte letture, modifiche dei dati poco frequenti e letture frequenti (come l'addestramento, l'inferenza e l'analisi ML), puoi migliorare le prestazioni di lettura e ridurre i costi di trasferimento dei dati utilizzando Anywhere Cache.
  Archiviazione a basso costo per dati ad accesso non frequente che possono essere archiviati per almeno 30 giorni (ad esempio, backup e contenuti multimediali long-tail).	Utilizza la classe di archiviazione Nearline.
  Archiviazione a basso costo per dati ad accesso non frequente che possono essere archiviati per almeno 90 giorni (ad esempio, ripristino di emergenza).	Utilizza la classe di archiviazione Coldline.
  Spazio di archiviazione al costo più basso per i dati ad accesso non frequente che possono essere archiviati per almeno 365 giorni, inclusi gli archivi normativi.	Utilizza la classe di archiviazione Archive.

  Per un'analisi comparativa dettagliata, consulta la sezione Classi di Cloud Storage.

Opzioni di trasferimento dei dati

Dopo aver scelto i servizi di archiviazione Google Cloud appropriati, per eseguire il deployment e l'esecuzione dei carichi di lavoro, devi trasferire i dati a Google Cloud. I dati che devi trasferire potrebbero esistere on-premise o su altre piattaforme cloud.

Puoi utilizzare i seguenti metodi per trasferire i dati a Google Cloud:

• Trasferisci i dati online utilizzando Storage Transfer Service: automatizza il trasferimento di grandi quantità di dati tra sistemi di archiviazione di oggetti e file, tra cui Cloud Storage, Amazon S3, servizi di archiviazione Azure e origini dati on-premise.
• Trasferisci i dati offline utilizzando Transfer Appliance: trasferisci e carica grandi quantità di dati offline su Google Cloud in situazioni in cui la connettività di rete e la larghezza di banda non sono disponibili, sono limitate o costose.
• Carica dati in Cloud Storage: carica dati online nei bucket Cloud Storage utilizzando la console Google Cloud , gcloud CLI, le API Cloud Storage o le librerie client.

Quando scegli un metodo di trasferimento dei dati, considera fattori come le dimensioni dei dati, i vincoli di tempo, la disponibilità di larghezza di banda, gli obiettivi di costo e i requisiti di sicurezza e conformità. Per informazioni sulla pianificazione e l'implementazione dei trasferimenti di dati a Google Cloud, consulta Eseguire la migrazione a Google Cloud: trasferire i set di dati di grandi dimensioni.

Albero decisionale delle opzioni di archiviazione

Il seguente diagramma della struttura decisionale ti guida attraverso i Google Cloud suggerimenti per lo spazio di archiviazione discussi in precedenza. Per indicazioni specifiche per i carichi di lavoro di AI e ML, consulta Progettare l'archiviazione per i carichi di lavoro di AI e ML in Google Cloud.

Visualizzare un'immagine più grande

Passaggi successivi

• Stima il costo di archiviazione utilizzando il Google Cloud Calcolatore prezzi.
• Scopri le best practice per creare una topologia cloud ottimizzata per sicurezza, resilienza, costi e prestazioni.
• Scopri quando utilizzare file system paralleli come Lustre per i carichi di lavoro HPC.

Collaboratori

Autore: Kumar Dhanagopal | Sviluppatore di soluzioni cross-product

Altri collaboratori:

• Brennan Doyle | Solutions Architect
• Dean Hildebrand | Technical Director, Office of the CTO
• Geoffrey Noer | Group Product Manager
• Jack Zhou | Technical Writer
• Jason Wu | Director, Product Management
• Jeff Allen | Solutions Architect
• Samantha He | Technical Writer
• Sean Derrington | Group Outbound Product Manager, Storage