Opsi penyimpanan untuk data Cloud TPU

Dokumen ini menjelaskan opsi penyimpanan data yang dapat digunakan saat melatih model di Cloud TPU.

Pengantar

Cloud TPU memerlukan penyimpanan data untuk:

  • Mendownload dan melakukan prapemrosesan set data
  • Pemrosesan pipeline input host
  • Input pelatihan model
  • Output pelatihan model

Opsi penyimpanan untuk data aplikasi Cloud TPU dan set data pelatihan adalah:

Untuk mengetahui informasi selengkapnya tentang cara mengelola penyimpanan, lihat halaman berikut:

Block storage yang andal

Block storage yang andal, juga dikenal sebagai disk atau volume, ditujukan untuk data yang ingin Anda simpan setelah menghentikan, menangguhkan, atau menghapus VM TPU. Penyimpanan blok yang tahan lama masih tersedia meskipun VM TPU mengalami error atau gagal. Anda dapat menggunakan boot disk VM TPU atau memasang penyimpanan blok tambahan ke TPU.

Anda mungkin ingin memasang disk tambahan dalam skenario berikut:

  • Ukuran set data pelatihan Anda melebihi ukuran disk booting TPU.
  • Anda memiliki data hanya baca dan menginginkan akses baca yang lebih cepat menggunakan volume Hyperdisk ML.

Anda dapat memasang dua jenis block storage yang tahan lama ke Cloud TPU: Google Cloud Hyperdisk dan Persistent Disk. Persistent Disk tidak didukung untuk seri mesin terbaru, termasuk Cloud TPU v6e. Google merekomendasikan penggunaan Google Cloud Hyperdisk untuk performa tertinggi dan fitur lanjutan.

Disk booting VM TPU

Secara default, setiap VM Cloud TPU memiliki satu disk booting 100 GiB yang berisi sistem operasi. Disk booting juga dapat digunakan untuk penyimpanan sementara set data yang didownload untuk prapemrosesan dan data input dan output model, selama jumlah totalnya tidak melebihi ruang yang tersedia di disk booting.

Anda tidak dapat mengubah ukuran disk booting di Cloud TPU. Jika aplikasi Anda memerlukan ruang penyimpanan tambahan di luar disk booting default, Anda dapat menambahkan satu atau beberapa disk yang tahan lama ke instance VM TPU. Untuk mengetahui informasi selengkapnya, lihat Menambahkan block storage yang andal ke VM TPU.

Penyimpanan terpasang

Hyperdisk dan Persistent Disk adalah perangkat penyimpanan jaringan yang tahan lama dan dapat diakses instance VM Anda seperti disk fisik di desktop atau server. Kedua jenis disk dibuat secara terpisah dari instance virtual machine (VM) Anda, sehingga Anda dapat menyimpan data meskipun setelah menghapus instance VM.

Keuntungan menggunakan Hyperdisk dibandingkan Persistent Disk mencakup performa yang dapat disesuaikan, IOPS dan batas throughput yang lebih tinggi. Untuk mengetahui informasi selengkapnya tentang Hyperdisk dan Persistent Disk, lihat Memilih jenis disk.

Untuk informasi selengkapnya tentang cara menggunakan durable block storage dengan VM TPU, lihat Melampirkan durable block storage ke VM TPU.

Cadangan disk

Sulit untuk mengambil data dari boot disk jika VM TPU stuck dalam status "tidak diketahui" atau untuk memulihkan data yang dihapus. Pastikan untuk mencadangkan data menggunakan opsi penyimpanan lain, seperti bucket Cloud Storage.

Jika menyimpan data di disk yang terpasang, Anda dapat menggunakan snapshot disk, yang mencadangkan data di disk secara bertahap. Snapshot disk tidak didukung untuk disk booting TPU. Untuk informasi selengkapnya, lihat Tentang snapshot disk.

Bucket Cloud Storage

Bucket Cloud Storage adalah opsi penyimpanan yang paling fleksibel, skalabel, dan tahan lama untuk instance VM Anda. Jika tugas pelatihan Anda tidak memerlukan latensi penyimpanan blok yang tahan lama dan lebih rendah, Anda dapat menyimpan set data di bucket Cloud Storage.

Performa bucket Cloud Storage bergantung pada kelas penyimpanan yang Anda pilih dan lokasi bucket yang relatif terhadap instance Anda.

Membuat bucket Cloud Storage di zona yang sama dengan VM TPU Anda memberikan performa yang sebanding dengan block storage yang tahan lama, tetapi dengan latensi yang lebih tinggi dan karakteristik throughput yang kurang konsisten.

Semua bucket Cloud Storage memiliki redundansi bawaan untuk melindungi data Anda dari kegagalan peralatan dan memastikan ketersediaan data melalui peristiwa pemeliharaan pusat data. Checksum dihitung untuk semua operasi Cloud Storage guna membantu memastikan bahwa yang Anda baca adalah yang Anda tulis.

Tidak seperti penyimpanan blok yang tahan lama, bucket Cloud Storage tidak dibatasi pada zona tempat instance Anda berada. Selain itu, Anda dapat membaca dan menulis data ke bucket dari beberapa instance secara bersamaan. Misalnya, Anda dapat mengonfigurasi instance di beberapa zona untuk membaca dan menulis data di bucket yang sama, bukan mereplikasi data ke penyimpanan blok yang tahan lama di beberapa zona.

Untuk mengetahui informasi selengkapnya tentang cara menghubungkan VM TPU ke bucket Cloud Storage, lihat Menghubungkan ke bucket Cloud Storage.

Cloud Storage FUSE

Dengan Cloud Storage FUSE, Anda dapat memasang dan mengakses bucket Cloud Storage sebagai sistem file lokal. Hal ini memungkinkan aplikasi membaca dan menulis objek di dalam bucket Anda menggunakan semantik sistem file standar.

Lihat dokumentasi FUSE Cloud Storage untuk mengetahui detail tentang cara kerja Cloud Storage FUSE dan deskripsi tentang cara operasi Cloud Storage FUSE dipetakan ke operasi Cloud Storage. Anda dapat menemukan informasi tambahan tentang cara menggunakan Cloud Storage FUSE, seperti cara menginstal CLI Cloud Storage FUSE dan memasang bucket di GitHub.

Berbagi file Filestore

Berbagi file Filestore adalah Network Attached Storage (NAS) yang terkelola sepenuhnya untuk Compute Engine. Filestore menawarkan kompatibilitas dengan aplikasi perusahaan yang ada dan mendukung klien yang kompatibel dengan NFSv3.

Filestore menawarkan latensi rendah untuk operasi file. Untuk beban kerja yang sensitif terhadap latensi, Filestore mendukung kapasitas hingga 100 TiB dan throughput 25 GiB per detik serta 720 ribu IOPS, dengan variabilitas minimum dalam performa.

Dengan Filestore, Anda dapat memasang fitur berbagi file di VM TPU.

Langkah berikutnya