Dokumen ini menjelaskan operasi batch penyimpanan, yaitu kemampuan Cloud Storage yang memungkinkan Anda melakukan operasi pada miliaran objek secara serverless. Dengan menggunakan operasi batch penyimpanan, Anda dapat mengotomatiskan operasi API skala besar pada miliaran objek, sehingga mengurangi waktu pengembangan yang diperlukan untuk menulis dan memelihara skrip untuk setiap permintaan.
Untuk mempelajari cara membuat tugas operasi batch penyimpanan, lihat Membuat dan mengelola tugas operasi batch penyimpanan.
Ringkasan
Operasi batch penyimpanan memungkinkan Anda menjalankan salah satu dari empat transformasi pada beberapa objek sekaligus: menempatkan penangguhan objek, menghapus objek, memperbarui metadata objek, dan menulis ulang objek. Untuk menggunakan operasi batch penyimpanan, Anda membuat konfigurasi tugas yang menentukan transformasi yang harus diterapkan ke objek mana.
Membuat operasi batch akan menampilkan operasi yang berjalan lama (LRO) yang menunjukkan status permintaan Anda: apakah transformasi telah diterapkan ke semua objek yang ditentukan dalam permintaan Anda.
Manfaat
- Skalabilitas: Lakukan transformasi pada jutaan objek dengan satu tugas operasi batch penyimpanan.
- Eksekusi tanpa server: Jalankan tugas batch di lingkungan tanpa server, sehingga Anda tidak perlu mengelola infrastruktur.
- Otomatisasi: Mengotomatiskan tugas yang kompleks dan berulang, sehingga meningkatkan efisiensi operasional.
- Waktu pengembangan yang lebih singkat: Hindari penulisan dan pemeliharaan skrip kustom yang rumit.
- Performa: Selesaikan operasi yang sensitif terhadap waktu dalam jangka waktu yang diperlukan. Dengan beberapa tugas batch yang berjalan secara bersamaan di bucket, Anda dapat memproses hingga satu miliar objek dalam waktu tiga jam.
- Percobaan ulang otomatis: Percobaan ulang otomatis untuk operasi yang gagal.
- Pemantauan tugas: Pelacakan progres yang mendetail untuk memantau status dan penyelesaian semua tugas.
Kasus penggunaan
Jika digunakan dengan kumpulan data Storage Insights, operasi batch penyimpanan memungkinkan Anda menyelesaikan tugas berikut:
Pengelolaan keamanan:
- Tetapkan kunci enkripsi pada beberapa objek menggunakan metode tulis ulang objek.
- Terapkan atau hapus penangguhan objek untuk mengontrol keabadian objek.
Kepatuhan:
- Gunakan pembekuan objek untuk memenuhi persyaratan retensi data terkait kepatuhan terhadap peraturan.
- Menghapus data dalam jangka waktu tertentu, untuk memenuhi persyaratan kepatuhan penghapusan total.
Transformasi data: Lakukan pembaruan massal pada metadata objek.
Pengoptimalan biaya: Hapus objek secara massal di bucket Cloud Storage untuk mengurangi biaya penyimpanan.
Konfigurasi tugas
Untuk membuat tugas operasi batch penyimpanan, Anda harus menyetel konfigurasi tugas berikut. Konfigurasi tugas adalah parameter yang mengontrol cara tugas ditentukan untuk persyaratan pemrosesan yang berbeda.
Nama tugas: Nama unik untuk mengidentifikasi tugas operasi batch penyimpanan. ID ini digunakan untuk melacak, memantau, dan mereferensikan tugas. Nama tugas berupa alfanumerik, misalnya,
job-01.Deskripsi Tugas (Opsional): Deskripsi singkat tentang tujuan tugas. Hal ini membantu memahami dan mendokumentasikan detail pekerjaan. Misalnya,
Deletes all objects in a bucket.Nama bucket: Nama bucket penyimpanan yang berisi objek yang akan diproses. Hal ini penting untuk menemukan data input. Misalnya,
my-bucket. Anda hanya dapat menentukan satu nama bucket untuk suatu tugas.Pemilihan objek: Kriteria pemilihan yang menentukan objek mana yang akan diproses. Anda dapat menentukan kriteria menggunakan salah satu opsi berikut:
Manifes: Buat manifes dan tentukan lokasinya saat Anda membuat tugas operasi batch penyimpanan. Manifes adalah file CSV, yang diupload ke Google Cloud, yang berisi satu objek atau daftar objek yang ingin Anda proses. Setiap baris dalam manifes harus menyertakan
bucketdannameobjek. Anda dapat menentukangenerationobjek secara opsional. Jika Anda tidak menentukangeneration, versi objek saat ini akan digunakan.File harus menyertakan baris header dengan format berikut:
bucket,name,generationBerikut adalah contoh manifes:
bucket,name,generation bucket_1,object_1,generation_1 bucket_1,object_2,generation_2 bucket_1,object_3,generation_3
Anda juga dapat membuat manifes menggunakan set data Storage Insights. Untuk mengetahui detailnya, lihat Membuat manifes menggunakan set data Storage Insights.
Awalan objek: Tentukan daftar awalan untuk memfilter objek dalam bucket. Hanya objek dengan awalan ini yang diproses. Jika kosong, semua objek dalam bucket akan diproses.
Jenis tugas: Operasi batch penyimpanan mendukung jenis tugas berikut, yang menjalankan satu tugas per operasi batch.
Penghapusan objek: Anda dapat menghapus objek dalam bucket. Hal ini sangat penting untuk pengoptimalan biaya, pengelolaan siklus proses data, dan kepatuhan terhadap kebijakan penghapusan data.
Update metadata: Anda dapat mengubah metadata objek. Hal ini mencakup memperbarui metadata kustom, kelas penyimpanan, dan properti objek lainnya.
Pembaruan penangguhan objek: Anda dapat mengaktifkan atau menonaktifkan penangguhan objek. Penangguhan objek mencegah objek dihapus atau dimodifikasi, yang penting untuk tujuan kepatuhan dan retensi data.
Pembaruan kunci enkripsi objek: Anda dapat mengelola kunci enkripsi yang dikelola pelanggan untuk satu atau beberapa objek. Hal ini mencakup penerapan atau perubahan kunci enkripsi menggunakan metode tulis ulang objek.
Batasan
Operasi batch penyimpanan memiliki batasan berikut:
Tugas operasi batch penyimpanan memiliki masa aktif maksimum 14 hari. Setiap tugas yang sedang berjalan dan tidak selesai dalam waktu 14 hari sejak dibuat akan dibatalkan secara otomatis.
Sebaiknya jangan jalankan lebih dari 20 tugas operasi batch serentak di bucket yang sama.
Operasi batch penyimpanan tidak kompatibel dengan Kontrol Layanan VPC.
Operasi batch penyimpanan tidak didukung di bucket berikut:
Bucket yang mengaktifkan Requestor Pays.
Bucket yang berada di wilayah
eur4atauus-west8.