Operasi batch penyimpanan

Halaman ini memberikan ringkasan tentang operasi batch penyimpanan, manfaatnya, kasus penggunaan, konfigurasi tugas, dan batasannya.

Ringkasan

Operasi batch penyimpanan adalah fitur pengelolaan Cloud Storage yang melakukan operasi pada miliaran objek Cloud Storage dengan cara tanpa server.

Dengan menggunakan operasi batch penyimpanan, Anda dapat mengotomatiskan operasi API skala besar pada objek Cloud Storage, sehingga mengurangi waktu pengembangan yang diperlukan untuk menulis dan mengelola skrip untuk operasi tersebut. Untuk memastikan eksekusi yang andal, operasi batch penyimpanan secara otomatis mengelola percobaan ulang untuk operasi yang gagal. Selain itu, operasi batch penyimpanan menawarkan pelacakan progres mendetail untuk memantau status dan penyelesaian semua tugas. Operasi batch penyimpanan adalah fitur eksklusif yang hanya tersedia melalui langganan Storage Intelligence. Untuk mengetahui informasi harga, lihat Harga Storage Intelligence.

Manfaat

  • Skalabilitas: Melakukan transformasi pada jutaan objek dengan satu tugas operasi batch penyimpanan.
  • Eksekusi serverless: Menjalankan tugas batch di lingkungan serverless, sehingga tidak perlu mengelola infrastruktur.
  • Otomatisasi: Mengotomatiskan tugas yang kompleks dan berulang, sehingga meningkatkan efisiensi operasional.
  • Mengurangi waktu pengembangan: Hindari menulis dan mengelola skrip kustom yang rumit.
  • Performa: Menyelesaikan operasi yang sensitif terhadap waktu dalam waktu yang diperlukan. Dengan beberapa tugas batch yang berjalan secara serentak di bucket, Anda dapat memproses hingga satu miliar objek dalam waktu tiga jam.

Kasus penggunaan

Operasi batch penyimpanan, jika digunakan dengan Storage Insights, sangat berharga untuk kasus penggunaan berikut:

  • Pengelolaan keamanan:

    • Tetapkan kunci enkripsi pada beberapa objek menggunakan metode rewrite object.
    • Terapkan atau hapus penangguhan objek untuk mengontrol sifat objek yang tidak dapat diubah.

  • Kepatuhan:

    • Gunakan pembekuan objek untuk memenuhi persyaratan retensi data untuk kepatuhan peraturan.
    • Menghapus data antara jangka waktu tertentu, untuk memenuhi persyaratan kepatuhan penghapusan data.

  • Transformasi data: Melakukan pembaruan massal pada metadata objek.

  • Pengoptimalan biaya: Menghapus objek secara massal di bucket Cloud Storage untuk mengurangi biaya penyimpanan.

Konfigurasi tugas

Untuk membuat tugas operasi batch penyimpanan, Anda harus menetapkan konfigurasi tugas berikut. Konfigurasi tugas adalah parameter yang mengontrol cara tugas ditentukan untuk berbagai persyaratan pemrosesan.

  • Nama tugas: Nama unik untuk mengidentifikasi tugas operasi batch penyimpanan. ID ini digunakan untuk melacak, memantau, dan mereferensikan tugas. Nama tugas berupa alfanumerik, misalnya, job-01.

  • Deskripsi Tugas (Opsional): Deskripsi singkat tentang tujuan tugas. Hal ini membantu memahami dan mendokumentasikan detail pekerjaan. Misalnya, Deletes all objects in a bucket.

  • Nama bucket: Nama bucket penyimpanan yang berisi objek yang akan diproses. Hal ini penting untuk menemukan data input. Misalnya, my-bucket. Anda hanya dapat menentukan satu nama bucket untuk tugas.

  • Pemilihan objek: Kriteria pemilihan yang menentukan objek yang akan diproses. Anda dapat menentukan kriteria menggunakan salah satu opsi berikut:

    • Manifes: Buat manifes dan tentukan lokasinya saat Anda membuat tugas operasi batch penyimpanan. Manifes adalah file CSV, yang diupload ke Google Cloud, yang berisi satu objek atau daftar objek yang ingin Anda proses. Setiap baris dalam manifes harus menyertakan bucket dan name objek. Anda dapat menentukan generation objek secara opsional. Jika Anda tidak menentukan generation, versi objek saat ini akan digunakan.

      File harus menyertakan baris header dengan format berikut:

      bucket,name,generation

      Berikut adalah contoh manifes:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Anda juga dapat membuat manifes menggunakan set data Storage Insights. Untuk mengetahui detailnya, lihat Membuat manifes menggunakan set data Storage Insights.

    • Awalan objek: Tentukan daftar awalan untuk memfilter objek dalam bucket. Hanya objek dengan awalan ini yang diproses. Jika kosong, semua objek di bucket akan diproses.

  • Jenis tugas: Operasi batch penyimpanan mendukung jenis tugas berikut, yang menjalankan satu tugas per operasi batch.

    • Penghapusan objek: Anda dapat menghapus objek dalam bucket. Hal ini sangat penting untuk pengoptimalan biaya, pengelolaan siklus proses data, dan kepatuhan terhadap kebijakan penghapusan data.

    • Pembaruan metadata: Anda dapat mengubah metadata objek. Hal ini mencakup pembaruan metadata kustom, class penyimpanan, dan properti objek lainnya.

    • Pembaruan penangguhan objek: Anda dapat mengaktifkan atau menonaktifkan penangguhan objek. Penangguhan objek mencegah objek dihapus atau diubah, yang penting untuk tujuan kepatuhan dan retensi data.

    • Pembaruan kunci enkripsi objek: Anda dapat mengelola kunci enkripsi yang dikelola pelanggan untuk satu atau beberapa objek. Hal ini mencakup penerapan atau perubahan kunci enkripsi menggunakan metode menulis ulang objek.

Batasan

Operasi batch penyimpanan memiliki batasan berikut:

  • Tugas operasi batch penyimpanan memiliki masa aktif maksimum 14 hari. Setiap tugas yang sedang berlangsung dan tidak selesai dalam waktu 14 hari sejak pembuatannya akan otomatis dibatalkan.

  • Sebaiknya jangan menjalankan lebih dari 20 tugas operasi batch serentak di bucket yang sama.

  • Operasi batch penyimpanan tidak kompatibel dengan Kontrol Layanan VPC.

  • Operasi batch penyimpanan tidak didukung di bucket berikut:

    • Bucket yang mengaktifkan Requester Pays.

    • Bucket yang berada di wilayah eur4 atau us-west8.

Langkah Berikutnya