Penyimpanan file dalam Compute Engine

Ringkasan solusi server file

Tabel berikut meringkas solusi dan fitur server file:

Disk tahan lama dan SSD Lokal

Jika Anda memiliki data yang hanya perlu diakses oleh satu VM atau tidak berubah seiring waktu, Anda dapat menghindari server file sepenuhnya dengan menggunakan disk tahan lama yang ditawarkan oleh Compute Engine—Hyperdisk atau Persistent Disk. Anda dapat memformat volume pendek Hyperdisk dan Persistent Disk dengan sistem file seperti Ext4 atau XFS dan memasangnya ke VM dalam mode baca-tulis atau hanya baca. Ini berarti Anda dapat memasang volume pada sebuah instance terlebih dahulu, memuatnya dengan data yang diperlukan, lalu memasangnya sebagai disk hanya-baca ke ratusan VM secara bersamaan. Penggunaan disk hanya baca tidak berfungsi untuk semua kasus penggunaan, tetapi dapat sangat mengurangi kompleksitas, dibandingkan dengan menggunakan server file.

Disk yang tahan lama memberikan performa yang konsisten. Semua volume Persistent Disk dengan ukuran yang sama (dan untuk Persistent Disk SSD, jumlah vCPU yang sama) yang Anda pasangkan pada instance memiliki karakteristik performa yang sama. Anda tidak perlu melakukan prapenyiapan atau menguji disk sebelum menggunakannya dalam produksi.

Biaya persistent disk mudah ditentukan karena tidak ada biaya I/O yang perlu dipertimbangkan setelah menyediakan volume Anda. Persistent disk juga dapat diubah ukurannya jika diperlukan. Dengan demikian, Anda dapat memulai dengan volume berbiaya rendah dan berkapasitas rendah, serta tidak perlu membuat instance atau disk tambahan untuk menskalakan kapasitas.

Jika total kapasitas penyimpanan adalah persyaratan utamanya, Anda dapat menggunakan persistent disk standar yang berbiaya rendah. Untuk mendapatkan performa terbaik sekaligus terus mengembangkan ketahanan, Anda dapat menggunakan persistent disk SSD.

Selain itu, Anda harus memilih kapasitas persistent disk Compute Engine dan jumlah vCPU yang tepat untuk memastikan perangkat penyimpanan server file Anda menerima bandwidth penyimpanan, IOPS, dan bandwidth jaringan yang diperlukan. Bandwidth jaringan untuk VM bergantung pada jenis mesin yang Anda pilih. Misalnya, VM A4 memiliki bandwidth jaringan maksimum hingga 3.600 Gbps. Untuk informasi selengkapnya, lihat Panduan perbandingan dan resource beberapa tipe mesin. Untuk informasi tentang cara menyesuaikan persistent disk, lihat Tentang performa Persistent Disk.

Jika data Anda bersifat ephemeral dan memerlukan latensi sub-milidetik dan operasi I/O per detik (IOPS) yang tinggi, Anda dapat memanfaatkan hingga 9 TB SSD Lokal untuk mendapatkan performa yang ekstrem. SSD lokal menyediakan GBps bandwidth dan jutaan IOPS, semuanya tanpa menggunakan bandwidth jaringan yang dialokasikan instance Anda. Penting untuk diingat bahwa SSD Lokal memiliki kompromi tertentu dalam ketersediaan, ketahanan, dan fleksibilitas.

Untuk informasi selengkapnya tentang opsi penyimpanan untuk Compute Engine, lihat Mendesain strategi penyimpanan yang optimal untuk workload cloud Anda.

Pertimbangan saat memilih solusi penyimpanan file

Memilih solusi penyimpanan file mengharuskan Anda melakukan kompromi terkait pengelolaan, biaya, performa, dan skalabilitas. Membuat keputusan akan lebih mudah jika Anda memiliki workload yang jelas, yang jarang terjadi. Jika workload berkembang seiring waktu atau sangat bervariasi, sebaiknya hemat biaya demi fleksibilitas dan elastisitas, sehingga Anda dapat berkembang dalam solusi. Di sisi lain, jika Anda memiliki workload sementara dan sudah dikenal baik, Anda dapat membuat arsitektur penyimpanan file sesuai keperluan yang dapat dengan mudah dirombak dan dibangun kembali untuk memenuhi kebutuhan penyimpanan langsung Anda.

Salah satu keputusan pertama yang harus dibuat adalah apakah Anda ingin membayar layanan penyimpanan terkelola, solusi yang mencakup dukungan produk, atau solusi yang tidak didukung.

• Layanan penyimpanan file terkelola adalah yang paling mudah dioperasikan, karena Google atau partner menangani semua operasi. Layanan ini bahkan memungkinkan penyediaan perjanjian tingkat layanan (SLA) untuk ketersediaan seperti kebanyakan layanan Google Cloud lainnya.
• Solusi yang tidak terkelola, tetapi didukung, adalah menyediakan fleksibilitas tambahan. Partner dapat membantu mengatasi masalah apa pun, tetapi pengoperasian solusi penyimpanan sehari-hari diserahkan kepada pengguna.
• Solusi yang tidak didukung memerlukan upaya paling banyak untuk di-deploy dan dipelihara, sehingga semua masalah diberikan kepada pengguna. Solusi berikut tidak tercantum dalam dokumen ini.

Keputusan Anda berikutnya melibatkan penentuan persyaratan ketahanan dan ketersediaan solusi. Sebagian besar solusi file merupakan solusi zona dan tidak secara default memberikan perlindungan jika zona gagal. Jadi, penting untuk mempertimbangkan apakah solusi pemulihan dari bencana (DR) yang melindungi dari kegagalan zona diperlukan. Penting juga untuk memahami persyaratan aplikasi untuk ketahanan dan ketersediaan. Misalnya, pilihan SSD lokal atau persistent disk dalam deployment Anda memiliki dampak besar, begitu juga konfigurasi software solusi file. Setiap solusi memerlukan perencanaan yang cermat untuk mencapai ketahanan, ketersediaan, dan bahkan perlindungan yang tinggi terhadap kegagalan zona dan regional.

Terakhir, pertimbangkan lokasi (yaitu, zona, region, pusat data lokal) tempat Anda perlu mengakses data. Lokasi lahan komputasi yang mengakses data Anda memengaruhi pilihan solusi filer Anda karena hanya beberapa solusi yang mengizinkan akses hybrid lokal dan dalam cloud.

Solusi penyimpanan file terkelola

Bagian ini menjelaskan solusi yang dikelola Google untuk penyimpanan file.

Filestore Basic

Instance Filestore Basic cocok untuk berbagi file, pengembangan software, dan beban kerja GKE. Anda dapat memilih HDD atau SSD untuk menyimpan data. SSD memberikan performa yang lebih baik. Dengan salah satu opsi tersebut, kapasitas akan diskalakan secara bertahap, dan Anda dapat melindungi data menggunakan pencadangan.

Filestore Zonal

Filestore Zonal menyederhanakan penyimpanan perusahaan dan pengelolaan data di Google Cloud dan di seluruh hybrid cloud. Filestore Zonal memberikan akses paralel berperforma tinggi yang hemat biaya ke data global sekaligus mempertahankan konsistensi ketat yang didukung oleh sistem file terdistribusi yang skalabel secara dinamis. Dengan Filestore Zonal, aplikasi NFS dan alur kerja NAS yang sudah ada dapat berjalan di cloud tanpa memerlukan pemfaktoran ulang, tetapi tetap mempertahankan manfaat layanan data perusahaan (misalnya, snapshot dan pencadangan). Driver CSI Filestore memungkinkan persistensi data, portabilitas, dan berbagi tanpa hambatan untuk workload dalam penampung.

Anda dapat menskalakan instance Zonal Filestore sesuai permintaan. Dengan API, Anda dapat membuat dan memperluas infrastruktur sistem file jika diperlukan, sehingga memastikan performa dan kapasitas penyimpanan selalu sesuai dengan persyaratan alur kerja dinamis Anda. Saat cluster Zonal Filestore diperluas, metadata dan performa I/O akan diskalakan secara linear. Penskalaan ini memungkinkan Anda meningkatkan dan mempercepat berbagai alur kerja yang memproses banyak data, termasuk komputasi berperforma tinggi, analisis, agregasi data lintas situs, DevOps, dan banyak lagi. Dengan demikian, Filestore Zonal sangat cocok digunakan dalam industri yang berfokus pada data seperti ilmu hayati (misalnya, pengurutan genom), layanan keuangan, serta media dan hiburan.

Untuk melindungi data penting lebih lanjut, Filestore Zonal juga memungkinkan Anda mengambil dan menyimpan snapshot berkala, membuat cadangan, dan mereplikasi ke region lain. Dengan Filestore, Anda dapat memulihkan file individu atau seluruh sistem file dalam waktu kurang dari 10 menit dari salah satu titik pemulihan sebelumnya.

Regional Filestore

Filestore Regional adalah solusi NFS berbasis cloud yang dikelola sepenuhnya dan memungkinkan Anda men-deploy aplikasi penting berbasis file di Google Cloud, yang didukung oleh SLA yang memberikan ketersediaan regional 99,99%. Dengan SLA ketersediaan regional 99,99%, Filestore Regional dirancang untuk aplikasi yang menuntut ketersediaan tinggi. Dengan beberapa klik mouse (beberapa perintah gcloud atau panggilan API), Anda dapat menyediakan bagian NFS yang direplikasi secara sinkron di tiga zona dalam satu region. Jika salah satu zona dalam region ini tidak tersedia, Filestore Regional akan terus menyalurkan data secara transparan ke aplikasi tanpa intervensi operasional.

Untuk melindungi data penting lebih lanjut, Filestore Regional juga memungkinkan Anda mengambil dan menyimpan snapshot berkala, membuat cadangan, dan mereplikasi ke region lain. Dengan Filestore, Anda dapat memulihkan file individu atau seluruh sistem file dalam waktu kurang dari 10 menit dari salah satu titik pemulihan sebelumnya.

Untuk melindungi data penting lebih lanjut, Filestore juga memungkinkan Anda mengambil dan menyimpan snapshot sistem file secara berkala. Dengan Filestore, Anda dapat memulihkan file individu atau seluruh sistem file dalam waktu kurang dari 10 menit dari salah satu titik pemulihan sebelumnya.

Untuk aplikasi penting seperti SAP, tingkat aplikasi dan database harus memiliki ketersediaan tinggi. Untuk memenuhi persyaratan ini, Anda dapat men-deploy tingkat database SAP ke Google Cloud Hyperdisk Extreme, di beberapa zona menggunakan ketersediaan tinggi database bawaan. Demikian pula, tingkat aplikasi NetWeaver, yang memerlukan file yang dapat dieksekusi bersama di banyak VM, dapat di-deploy ke Filestore Regional, yang mereplikasi data Netweaver di beberapa zona dalam satu region. Hasil akhirnya adalah arsitektur aplikasi tiga tingkat yang sangat penting dan sangat tersedia.

Organisasi IT juga semakin men-deploy aplikasi stateful dalam container di Google Kubernetes Engine (GKE). Hal ini sering kali menyebabkan mereka mempertimbangkan kembali infrastruktur penyimpanan mana yang akan digunakan untuk mendukung aplikasi tersebut. Anda dapat menggunakan penyimpanan blok (Hyperdisk atau Persistent Disk), penyimpanan file (Filestore Basic, Zonal, atau Regional), atau penyimpanan objek (Cloud Storage). HDD Dasar Filestore untuk GKE dan multishare Filestore untuk GKE yang dikombinasikan dengan driver CSI Filestore memungkinkan organisasi yang memerlukan beberapa Pod GKE untuk memiliki akses file bersama, sehingga memberikan peningkatan tingkat ketersediaan untuk workload yang sangat penting.

NetApp Volumes

NetApp Volumes adalah layanan Google terkelola sepenuhnya yang memungkinkan Anda memasang penyimpanan file bersama ke instance compute Google Cloud dengan cepat. NetApp Volumes mendukung akses SMB, NFS, dan multi-protokol. NetApp Volumes memberikan performa tinggi ke aplikasi Anda dengan latensi rendah, dengan kemampuan perlindungan data yang andal: snapshot, salinan, replikasi lintas region, dan pencadangan. Layanan ini cocok untuk aplikasi yang memerlukan beban kerja berurutan dan acak, yang dapat diskalakan di ratusan atau ribuan instance Compute Engine. Dalam hitungan detik, volume dengan ukuran berkisar dari GiB hingga PiB dapat disediakan dan dilindungi dengan kemampuan perlindungan data yang andal. Dengan beberapa tingkat layanan (Flex, Standard, Premium, dan Extreme), NetApp Volumes memberikan performa yang sesuai untuk workload Anda, tanpa memengaruhi ketersediaan.

Google Cloud Managed Lustre

Managed Lustre adalah layanan yang dikelola Google yang menyediakan penyimpanan throughput tinggi dan latensi rendah untuk workload HPC yang erat kaitannya. Hal ini secara signifikan mempercepat beban kerja HPC serta pelatihan dan inferensi AI dengan menyediakan akses berlatensi rendah dan throughput tinggi ke set data yang sangat besar. Untuk informasi tentang cara menggunakan Managed Lustre untuk workload AI dan ML, lihat Mendesain penyimpanan untuk workload AI dan ML di Google Cloud. Lustre Terkelola mendistribusikan data ke beberapa node penyimpanan, yang memungkinkan akses serentak oleh banyak VM. Akses paralel ini menghilangkan bottleneck yang terjadi pada sistem file konvensional dan memungkinkan workload untuk menyerap dan memproses data dalam jumlah besar yang diperlukan dengan cepat.

Solusi partner di Cloud Marketplace

Solusi yang disediakan partner berikut tersedia di Cloud Marketplace.

NetApp Cloud Volumes ONTAP

NetApp Cloud Volumes ONTAP (NetApp CVO) adalah solusi berbasis cloud yang dikelola pelanggan yang menghadirkan set fitur lengkap dari ONTAP, yaitu operasi pengelolaan data terkemuka NetApp ke Google Cloud. CVO NetApp di-deploy dalam VPC Anda, dengan penagihan dan dukungan dari Google. Software ONTAP berjalan di VM Compute Engine, dan menggunakan kombinasi persistent disk dan bucket Cloud Storage (jika tingkatan diaktifkan) untuk menyimpan data NAS. Filer bawaan mengakomodasi volume NAS menggunakan penyediaan tipis sehingga Anda hanya membayar untuk penyimpanan yang Anda gunakan. Seiring pertumbuhan data, persistent disk tambahan ditambahkan ke kumpulan kapasitas agregat.

NetApp CVO mengelola infrastruktur dasar dan memungkinkan Anda membuat volume data virtual yang dibentuk dari kumpulan agregat yang konsisten dengan semua volume ONTAP lainnya di cloud atau lingkungan lokal mana pun. Volume data yang Anda buat mendukung semua versi NFS, SMB, NFS/SMB multi-protokol, dan iSCSI. Solusi ini mendukung berbagai workload berbasis file, termasuk konten web dan multimedia, yang digunakan di banyak industri seperti otomasi desain elektronik (EDA) serta media dan hiburan.

NetApp CVO mendukung snapshot point-in-time instan yang menghemat ruang, pencadangan permanen tingkat blok bawaan, dan inkremental terus menerus ke Cloud Storage, dan replikasi asinkron lintas region untuk pemulihan dari bencana. Opsi untuk memilih jenis instance Compute Engine dan persistent disk memungkinkan Anda mencapai performa yang diinginkan untuk workload Anda. Meskipun beroperasi dalam konfigurasi berperforma tinggi, NetApp CVO menerapkan efisiensi penyimpanan seperti penghapusan duplikat, pemadatan, dan kompresi serta tingkat otomatis untuk data yang jarang digunakan ke bucket Cloud Storage, sehingga Anda dapat menyimpan data dalam jumlah petabyte sekaligus mengurangi biaya penyimpanan secara keseluruhan secara signifikan.

DDN Infinia

Jika memerlukan orkestrasi data AI lanjutan, Anda dapat menggunakan DDN Infinia, yang tersedia di Google Cloud Marketplace. Infinia menyediakan solusi intelijen data yang berfokus pada AI yang dioptimalkan untuk inferensi, pelatihan, dan analisis real-time. Hal ini memungkinkan penyerapan data yang sangat cepat, pengindeksan kaya metadata, dan integrasi yang lancar dengan framework AI seperti TensorFlow dan PyTorch.

Berikut adalah fitur utama DDN Infinia:

• Performa tinggi: Memberikan latensi sub-milidetik dan throughput beberapa TB/s.
• Skalabilitas: Mendukung penskalaan dari terabyte hingga exabyte dan dapat mengakomodasi hingga lebih dari 100.000 GPU dan satu juta klien serentak dalam satu deployment.
• Multi-tenancy dengan kualitas layanan (QoS) yang dapat diprediksi: Menawarkan lingkungan yang aman dan terisolasi untuk beberapa tenant dengan QoS yang dapat diprediksi untuk performa yang konsisten di seluruh workload.
• Akses data terpadu: Memungkinkan integrasi yang lancar dengan aplikasi dan alur kerja yang ada melalui dukungan multi-protokol bawaan, termasuk untuk CSI, Cinder, dan yang kompatibel dengan Amazon S3.
• Keamanan tingkat lanjut: Menampilkan enkripsi bawaan, coding penghapusan berbasis fault domain, dan snapshot yang membantu memastikan perlindungan dan kepatuhan data.

Penyimpanan File Cloud Nasuni

Nasuni menggantikan server file perusahaan dan perangkat NAS serta semua infrastruktur terkait, termasuk hardware cadangan dan DR, dengan alternatif cloud yang lebih sederhana dan berbiaya rendah. Nasuni menggunakan penyimpanan objek Google Cloud untuk memberikan solusi penyimpanan software-as-a-service (SaaS) yang lebih efisien dan dapat diskalakan untuk menangani pertumbuhan data file tidak terstruktur yang cepat. Nasuni dirancang untuk menangani berbagi file departemen, project, dan organisasi serta alur kerja aplikasi untuk setiap karyawan, di mana pun mereka bekerja.

Nasuni menawarkan tiga paket, dengan harga untuk perusahaan dan organisasi dari segala ukuran sehingga dapat tumbuh dan berkembang sesuai kebutuhan.

Manfaatnya meliputi beberapa hal berikut:

• Penyimpanan file utama berbasis cloud lebih murah hingga 70%. Arsitektur memanfaatkan kebijakan pengelolaan siklus proses objek bawaan. Kebijakan ini memungkinkan fleksibilitas penuh untuk digunakan dengan kelas Cloud Storage, termasuk Standard, Nearline, Coldline, dan Archive. Dengan menggunakan class Archive akses langsung untuk penyimpanan utama dengan Nasuni, Anda dapat menghemat biaya hingga 70%.

• Berbagi file departemen dan organisasi dalam cloud. Arsitektur berbasis cloud Nasuni menawarkan sebuah namespace global di seluruh regionGoogle Cloud , tanpa batasan jumlah file, ukuran file, atau snapshot, sehingga Anda dapat menyimpan file langsung dari desktop ke Google Cloud melalui protokol drive-mapping NAS (SMB) standar.

• Pencadangan bawaan dan pemulihan dari bencana (disaster recovery). Operasi "setel dan lupakan" Nasuni memudahkan pengelolaan penyimpanan file global. Pencadangan dan DR disertakan, dan satu konsol pengelolaan memungkinkan Anda mengawasi dan mengontrol lingkungan di mana saja, kapan saja.

• Mengganti server file yang telah lama. Nasuni memudahkan migrasi server file Microsoft Windows dan sistem penyimpanan file lain yang ada ke Google Cloud, sehingga mengurangi biaya dan kompleksitas pengelolaan lingkungan ini.

Untuk informasi selengkapnya, lihat referensi berikut:

• Tur terpandu Nasuni
• Kemitraan Google Cloud Nasuni dan
• Ringkasan solusi Nasuni Enterprise File Storage untuk Google Cloud (PDF)
• Nasuni Cloud File Storage di Cloud Marketplace
• Nasuni dan Google Cloud blog

Penyimpanan Sycomp yang Didukung oleh IBM Storage Scale

Sycomp Storage Fueled oleh IBM Storage Scale, yang tersedia di Google Cloud Marketplace, memungkinkan Anda menjalankan komputasi berperforma tinggi (HPC), AI dan ML, serta workload big data di Google Cloud. Dengan Sycomp Storage, Anda dapat mengakses data secara bersamaan dari ribuan VM, mengurangi biaya dengan mengelola tingkat penyimpanan secara otomatis, dan menjalankan aplikasi Anda secara lokal atau di Google Cloud. Sycomp Storage dapat di-deploy dengan cepat dan mendukung akses ke data Anda melalui NFS dan klien IBM Storage Scale.

IBM Storage Scale adalah sistem file paralel yang membantu mengelola volume besar (PB) data dengan aman. Sycomp Storage Scale adalah sistem file paralel yang sangat cocok untuk HPC, AI, ML, big data, dan aplikasi lain yang memerlukan sistem file bersama yang mematuhi POSIX. Dengan kapasitas penyimpanan yang dapat disesuaikan dan penskalaan performa, Sycomp Storage dapat mendukung beban kerja HPC, AI, dan ML dari kecil hingga besar.

Setelah men-deploy cluster di Google Cloud, tentukan cara Anda akan menggunakannya. Pilih apakah Anda ingin menggunakan cluster hanya di cloud atau dalam mode hybrid dengan menghubungkan ke cluster IBM Storage Scale lokal yang ada, solusi NFS NAS pihak ketiga, atau solusi penyimpanan berbasis objek lainnya.

Kontributor

Penulis: Sean Derrington | Group Outbound Product Manager, Storage

Kontributor lainnya:

• Dean Hildebrand | Technical Director, Office of the CTO
• Kumar Dhanagopal | Developer Solusi Lintas Produk