Rancang strategi penyimpanan yang optimal untuk workload cloud Anda

Panduan ini membantu Anda menilai persyaratan penyimpanan pada workload cloud Anda, memahami opsi penyimpanan yang tersedia di Google Cloud, dan merancang strategi penyimpanan yang memberikan nilai bisnis secara optimal.

Untuk ringkasan visual rekomendasi desain utama, lihat diagram pohon keputusan.

Untuk mengetahui informasi tentang cara memilih layanan penyimpanan untuk workload AI dan ML, lihat Mendesain penyimpanan untuk workload AI dan ML di Google Cloud.

Ringkasan proses desain

Sebagai arsitek cloud, saat merencanakan penyimpanan untuk workload cloud, Anda harus terlebih dahulu mempertimbangkan karakteristik fungsional workload, batasan keamanan, persyaratan ketahanan, ekspektasi performa, dan tujuan biaya. Selanjutnya, Anda harus meninjau layanan dan fitur penyimpanan yang tersedia di Google Cloud. Kemudian, berdasarkan persyaratan dan opsi yang tersedia, Anda memilih layanan dan fitur penyimpanan yang diperlukan. Diagram berikut menunjukkan proses desain tiga fase ini:

Menentukan persyaratan Anda

Gunakan kuesioner di bagian ini untuk menentukan persyaratan penyimpanan utama untuk workload yang ingin Anda deploy di Google Cloud.

Panduan untuk menentukan persyaratan penyimpanan

Saat menjawab kuesioner, pertimbangkan panduan berikut:

• Menentukan persyaratan secara terperinci

  Misalnya, jika aplikasi Anda memerlukan penyimpanan file berbasis Network File System (NFS), identifikasi versi NFS yang diperlukan.

• Pertimbangkan persyaratan pada masa mendatang

  Misalnya, deployment Anda saat ini mungkin melayani pengguna di negara-negara Asia, tetapi Anda mungkin berencana untuk memperluas bisnis ke benua lain. Dalam hal ini, pertimbangkan semua persyaratan peraturan terkait penyimpanan di wilayah bisnis baru.

• Pertimbangkan peluang dan persyaratan khusus cloud

  • Manfaatkan peluang khusus cloud.

    Misalnya, untuk mengoptimalkan biaya penyimpanan data yang disimpan di Cloud Storage, Anda dapat mengontrol durasi penyimpanan menggunakan kebijakan retensi data dan konfigurasi siklus proses.

  • Pertimbangkan persyaratan khusus cloud.

    Misalnya, data lokal mungkin berada di satu pusat data, dan Anda mungkin perlu mereplikasi data yang dimigrasikan di dua lokasiGoogle Cloud untuk redundansi.

Kuesioner

Kuesioner berikut bukan daftar periksa lengkap untuk perencanaan. Gunakan paket tersebut sebagai titik awal untuk menganalisis semua persyaratan penyimpanan workload yang ingin Anda deploy ke Google Cloudsecara sistematis.

Mengevaluasi karakteristik beban kerja Anda

• Jenis data apa yang perlu Anda simpan?

  Contoh

  • Konten situs statis
  • Pencadangan dan pengarsipan untuk pemulihan dari bencana
  • Log audit untuk kepatuhan
  • Objek data besar yang didownload pengguna secara langsung
  • Data transaksional
  • Data tidak terstruktur dan heterogen

• Berapa kapasitas yang Anda butuhkan? Pertimbangkan persyaratan Anda saat ini dan di masa mendatang.

• Haruskah kapasitas diskalakan secara otomatis sesuai penggunaan?

• Apa saja persyaratan aksesnya? Misalnya, apakah data tersebut harus dapat diakses dari luar Google Cloud?

• Apa pola baca-tulis yang diharapkan?

  Contoh

  • Sering menulis dan membaca
  • Sering menulis, tetapi sesekali membaca
  • Menulis dan membaca sesekali
  • Menulis sesekali, tetapi sering membaca

• Apakah workload memerlukan akses berbasis file, misalnya menggunakan NFS?

• Akankah beberapa klien dapat membaca atau menulis data secara bersamaan?

Mengidentifikasi batasan keamanan

• Apa saja persyaratan enkripsi data Anda? Misalnya, apakah Anda perlu menggunakan kunci yang Anda kontrol?

• Apakah ada persyaratan residensi data?

Menentukan persyaratan ketahanan data

• Apakah workload Anda memerlukan cache latensi rendah atau ruang awal?
• Apakah Anda perlu mereplikasi data di cloud untuk redundansi?
• Apakah Anda membutuhkan konsistensi baca-tulis yang ketat untuk dataset yang direplikasi?

Menetapkan ekspektasi performa

• Berapa tarif I/O yang diperlukan?

• Apa tingkat throughput baca dan tulis yang dibutuhkan aplikasi Anda?

• Lingkungan apa yang memerlukan penyimpanan? Untuk workload tertentu, Anda mungkin memerlukan penyimpanan berperforma tinggi untuk lingkungan produksi, tetapi dapat memilih opsi berperforma lebih rendah untuk lingkungan non-produksi.

Meninjau opsi penyimpanan

Google Cloud menawarkan layanan penyimpanan untuk semua format penyimpanan utama: blok, file, dan objek. Tinjau dan evaluasi fitur, opsi desain, dan keuntungan relatif dari layanan yang tersedia untuk setiap format penyimpanan.

Ringkasan

Analisis komparatif

Tabel berikut mencantumkan kemampuan utama layanan penyimpanan di Google Cloud.

	Persistent Disk	Hyperdisk	SSD Lokal	Filestore	Managed Lustre	NetApp Volumes	Cloud Storage
Kapasitas fullscreen	10 GiB hingga 64 TiB per disk Hingga 257 TiB per VM	4 GiB hingga 64 TiB per disk Hingga 512 TiB per VM 10 TiB hingga 1 PiB per penyimpanan bersama	375 GiB per disk Hingga 12 TiB per VM Titanium SSD adalah opsi SSD lokal dengan kapasitas yang lebih tinggi.	1-100 TiB per instance	18 TiB hingga 8 PiB	1 TiB hingga 10 PiB per penyimpanan bersama 1 GiB hingga 1 PiB per volume	Tidak ada batas bawah atau atas
Penskalaan aspect_ratio	peningkatan skala Menambah dan menghapus disk Penskalaan otomatis	Peningkatan skala	Tidak skalabel	Dasar: peningkatan skala Zonal dan Regional: meningkatkan dan menurunkan skala	Tidak skalabel	Peningkatan dan penurunan skala	Penskalaan otomatis berdasarkan penggunaan
Berbagi share	Didukung	Didukung	Tidak dapat dibagikan	Dapat dipasang di beberapa VM Compute Engine, klien jarak jauh, dan cluster GKE	Dapat dipasang di beberapa VM Compute Engine dan cluster GKE.	Dapat dipasang di beberapa VM Compute Engine dan cluster GKE	Baca/tulis dari mana saja Terintegrasi dengan Cloud CDN dan CDN pihak ketiga
Opsi kunci enkripsi enhanced_encryption	Google-owned and Google-managed encryption keys Dikelola pelanggan Disediakan pelanggan	Google-owned and Google-managed encryption keys Dikelola pelanggan Disediakan pelanggan	Google-owned and Google-managed encryption keys	Google-owned and Google-managed encryption keys Dikelola pelanggan (tingkat Zonal dan Regional)	Google-owned and Google-managed encryption keys	Google-owned and Google-managed encryption keys Dikelola pelanggan	Google-owned and Google-managed encryption keys Dikelola pelanggan Disediakan pelanggan
Persistensi save	Masa pakai disk	Masa pakai disk	Sementara (data akan hilang saat VM dihentikan atau dihapus)	Masa pakai instance Filestore	Masa aktif instance Managed Lustre	Masa aktif volume	Masa pakai bucket
Ketersediaan  content_copy	Zonal Replikasi lintas zona Snapshot (manual atau terjadwal) Kloning disk	Zonal Kloning disk Replikasi lintas zona	Zonal	Regional atau zonal berdasarkan tingkat Snapshot untuk tingkat Zonal dan Regional Cadangan Replikasi	Zonal	Regional (Flex) atau zonal (semua tingkat) Cadangan Snapshot Replikasi lintas-region	Data redundan di seluruh zona Opsi untuk redundansi di seluruh region
Performa speed	Penskalaan linear dengan ukuran disk dan jumlah CPU	Penyimpanan persisten dengan penskalaan dinamis	Penyimpanan awal berperforma tinggi	Dasar: performa yang konsisten Zonal dan Regional: penskalaan dinamis	Penskalaan linear dengan kapasitas yang disediakan	Performa yang skalabel Ekspektasi bergantung pada tingkat layanan	Penskalaan otomatis kecepatan baca-tulis dan redistribusi beban dinamis Anywhere Cache
Pengelolaan construction	Memformat dan memasang secara manual	Memformat dan memasang secara manual	Memformat, garis, dan memasang secara manual	Terkelola sepenuhnya	Terkelola sepenuhnya	Terkelola sepenuhnya	Terkelola sepenuhnya

Tabel berikut mencantumkan jenis beban kerja yang sesuai untuk setiap opsi penyimpanan Google Cloud:

Opsi penyimpanan	Jenis beban kerja
Persistent Disk	Aplikasi yang intensif dengan IOPS atau peka terhadap latensi Database Penyimpanan dibagikan hanya baca Pencadangan VM yang cepat dan andal
Hyperdisk	Aplikasi yang intensif dengan IOPS atau peka terhadap latensi Database Penyimpanan dibagikan hanya baca Pencadangan VM yang cepat dan andal Analisis penyebaran skala
SSD Lokal	Database yang dioptimalkan untuk Flash Hot-cache untuk analisis Disk awal
Filestore	Mengangkat dan memindahkan sistem file lokal File konfigurasi bersama Alat dan utilitas umum Log terpusat
Managed Lustre	Workload AI dan ML HPC
NetApp Volumes	Mengangkat dan memindahkan sistem file lokal File konfigurasi bersama Alat dan utilitas umum Log terpusat Workload Windows
Cloud Storage	Streaming video Daftar aset media Data lake dengan throughput tinggi Pencadangan dan pengarsipan Konten longtail

Memilih opsi penyimpanan

Ada dua bagian untuk memilih opsi penyimpanan:

• Menentukan layanan penyimpanan yang Anda butuhkan.
• Memilih fitur dan opsi desain yang diperlukan dalam layanan tertentu.

  Contoh fitur dan opsi desain layanan khusus

  Persistent Disk

  • Region dan zona deployment
  • Replikasi regional
  • Jenis, ukuran, dan IOPS disk (untuk Persistent Disk Ekstrem)
  • Kunci enkripsi: Dimiliki dan dikelola Google, dikelola pelanggan, atau disediakan pelanggan
  • Jadwal snapshot

  Hyperdisk

  • Zona deployment
  • Jenis, ukuran, throughput disk (untuk Hyperdisk Throughput) dan IOPS (untuk Hyperdisk Extreme)
  • Kunci enkripsi: Dimiliki dan dikelola Google, dikelola pelanggan, atau disediakan pelanggan
  • Jadwal snapshot

  Filestore

  • Region dan zona deployment
  • Tingkat instance
  • Kapasitas
  • Rentang IP: dialokasikan secara otomatis atau khusus
  • Kontrol akses

  NetApp Volumes

  • Region deployment
  • Tingkat layanan untuk penyimpanan gabungan
  • Kapasitas volume dan gabungan
  • Protokol volume
  • Aturan ekspor volume

  Cloud Storage

  • Lokasi: multi-region, region ganda, satu region
  • Kelas penyimpanan: Standard, Nearline, Coldline, Archive
  • Kontrol akses: seragam atau terperinci
  • Kunci enkripsi: Dimiliki dan dikelola Google, dikelola pelanggan, atau disediakan pelanggan
  • Kebijakan retensi

Rekomendasi penyimpanan

Gunakan rekomendasi berikut sebagai titik awal untuk memilih layanan dan fitur penyimpanan yang sesuai kebutuhan Anda. Untuk panduan khusus workload AI dan ML, lihat Mendesain penyimpanan untuk workload AI dan ML di Google Cloud.

Rekomendasi penyimpanan umum juga disajikan sebagai pohon keputusan nanti dalam dokumen ini.

• Untuk aplikasi yang memerlukan sistem file paralel, gunakan Managed Lustre.

• Untuk aplikasi yang memerlukan akses berbasis file, pilih layanan penyimpanan file yang sesuai berdasarkan persyaratan Anda terkait protokol akses, ketersediaan, dan performa.

  Protokol akses	Rekomendasi
  NFS	Jika Anda memerlukan ketersediaan regional dan performa tinggi yang dapat diskalakan dengan kapasitas, gunakan Filestore Regional. Jika ketersediaan per zona sudah cukup, tetapi Anda memerlukan performa tinggi yang dapat diskalakan dengan kapasitas, gunakan Filestore Zonal atau NetApp Volumes Premium atau Extreme. Jika tidak, gunakan Filestore Basic atau NetApp Volumes. Untuk mengetahui informasi tentang perbedaan antara tingkat layanan Filestore, lihat Tingkat layanan.
  SMB	Gunakan NetApp Volumes.

• Untuk workload yang memerlukan penyimpanan utama dengan performa tinggi, gunakan Hyperdisk, SSD lokal, atau Persistent Disk, bergantung pada kebutuhan Anda.

  Persyaratan	Rekomendasi
  Scratch disk atau cache cepat	Gunakan disk SSD lokal (sementara).
  Block storage dengan performa dan kapasitas yang dapat diskalakan secara independen	Gunakan Hyperdisk. Pilih jenis disk yang sesuai berdasarkan persyaratan Anda: Workload tujuan umum: hyperdisk-balanced Workload I/O tinggi, seperti database berperforma tinggi: hyperdisk-extreme Analisis penyebaran skala, drive data untuk aplikasi yang sensitif biaya, dan penyimpanan dingin: hyperdisk-throughput Beban kerja ML yang memerlukan throughput tinggi ke beberapa VM dalam mode hanya baca: hyperdisk-ml dalam mode hanya baca Beberapa VM dalam satu region dengan akses tulis serentak ke disk yang sama: hyperdisk-balanced-high-availability dalam mode multi-penulis Untuk mengetahui informasi selengkapnya, lihat Tentang Google Cloud Hyperdisk.
  Block storage dengan kapasitas yang dapat diskalakan	Gunakan Persistent Disk. Pilih jenis disk yang sesuai berdasarkan persyaratan Anda: IOPS Berurutan: pd-standard Workload intensif IOPS: pd-extreme atau pd-ssd Keseimbangan antara performa dan biaya: pd-balanced Untuk mengetahui informasi selengkapnya, lihat Tentang Persistent Disk.

  • Bergantung pada persyaratan redundansi Anda, pilih antara disk zona dan regional.

    Persyaratan	Rekomendasi
    Redundansi di satu zona dalam satu region	Gunakan Hyperdisk atau Persistent Disk zonal.
    Redundansi di beberapa zona dalam satu region	Gunakan Ketersediaan Tinggi Hyperdisk atau Persistent Disk regional.

• Untuk penyimpanan berskala tak terbatas dan tersedia secara globalgunakan Cloud Storage.

  Bergantung pada frekuensi akses data dan durasi penyimpanan, pilih kelas Cloud Storage yang sesuai.

  Persyaratan	Rekomendasi>
  Frekuensi akses bervariasi, atau periode retensi data tidak diketahui atau tidak dapat diprediksi.	Gunakan fitur Autoclass untuk mentransisikan objek dalam bucket secara otomatis ke kelas penyimpanan yang sesuai berdasarkan pola akses setiap objek.
  Penyimpanan untuk data yang sering diakses, termasuk untuk analisis throughput tinggi, data lake, situs, video streaming, dan aplikasi seluler.	Gunakan kelas penyimpanan Standard. Untuk meng-cache data yang sering diakses dan menayangkannya dari lokasi yang dekat dengan klien, gunakan Cloud CDN. Untuk workload baca berat dengan perubahan data yang jarang dan pembacaan yang sering (seperti pelatihan, inferensi, dan analisis ML), Anda dapat meningkatkan performa baca dan mengurangi biaya transfer data dengan menggunakan Anywhere Cache.
  Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 30 hari (misalnya, cadangan dan konten multimedia longtail).	Gunakan kelas penyimpanan Nearline.
  Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 90 hari (misalnya, pemulihan dari bencana).	Gunakan kelas penyimpanan Coldline.
  Penyimpanan berbiaya paling rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 365 hari, termasuk arsip peraturan.	Gunakan kelas penyimpanan Archive.

  Untuk analisis komparatif yang mendetail, lihat class Cloud Storage.

Opsi transfer data

Setelah memilih layanan penyimpanan Google Cloud yang sesuai, untuk men-deploy dan menjalankan workload, Anda perlu mentransfer data ke Google Cloud. Data yang perlu Anda transfer mungkin ada di infrastruktur lokal atau di platform cloud lainnya.

Anda dapat menggunakan metode berikut untuk mentransfer data ke Google Cloud:

• Mentransfer data secara online menggunakan Storage Transfer Service: Mengotomatiskan transfer data dalam jumlah besar antara sistem penyimpanan objek dan file, termasuk Cloud Storage, Amazon S3, layanan penyimpanan Azure, dan sumber data lokal.
• Mentransfer data secara offline menggunakan Transfer Appliance: Mentransfer dan memuat data dalam jumlah besar secara offline ke Google Cloud dalam situasi saat konektivitas dan bandwidth jaringan tidak tersedia, terbatas, atau mahal.
• Mengupload data ke Cloud Storage: Upload data secara online ke bucket Cloud Storage menggunakan Google Cloud konsol, gcloud CLI, Cloud Storage API, atau library klien.

Saat Anda memilih metode transfer data, pertimbangkan faktor-faktor seperti ukuran data, batasan waktu, ketersediaan bandwidth, sasaran biaya, serta persyaratan keamanan dan kepatuhan. Untuk mengetahui informasi tentang perencanaan dan penerapan transfer data ke Google Cloud, lihat Bermigrasi ke Google Cloud: Mentransfer set data besar Anda.

Pohon keputusan opsi penyimpanan

Diagram pohon keputusan berikut memandu Anda melalui rekomendasi penyimpanan Google Cloud yang dibahas sebelumnya. Untuk panduan khusus terkait workload AI dan ML, lihat Mendesain penyimpanan untuk workload AI dan ML di Google Cloud.

Lihat gambar yang lebih besar

Langkah berikutnya

• Perkirakan biaya penyimpanan menggunakan Kalkulator HargaGoogle Cloud .
• Pelajari praktik terbaik untuk membangun opologi cloud yang dioptimalkan untuk keamanan, ketahanan, biaya, dan performa.
• Pelajari kapan harus menggunakan sistem file paralel seperti Lustre untuk workload HPC.

Kontributor

Penulis: Kumar Dhanagopal | Cross-Product Solution Developer

Kontributor lainnya:

• Brennan Doyle | Solutions Architect
• Dean Hildebrand | Technical Director, Office of the CTO
• Geoffrey Noer | Group Product Manager
• Jack Zhou | Technical Writer
• Jason Wu | Director, Product Management
• Jeff Allen | Solutions Architect
• Samantha He | Technical Writer
• Sean Derrington | Group Outbound Product Manager, Storage