Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Dokumen ini menjelaskan operasi batch penyimpanan, yaitu kemampuan Cloud Storage yang memungkinkan Anda melakukan operasi pada miliaran objek secara serverless. Dengan menggunakan operasi batch penyimpanan, Anda dapat mengotomatiskan operasi API skala besar pada miliaran objek, sehingga mengurangi waktu pengembangan yang diperlukan untuk menulis dan memelihara skrip untuk setiap permintaan.
Operasi batch penyimpanan memungkinkan Anda menjalankan salah satu dari empat transformasi pada beberapa objek sekaligus: menempatkan penangguhan objek, menghapus objek, memperbarui metadata objek, dan menulis ulang objek. Untuk menggunakan
operasi batch penyimpanan, Anda membuat konfigurasi tugas yang
menentukan transformasi yang harus diterapkan ke objek mana.
Membuat operasi batch akan menampilkan operasi yang berjalan lama
(LRO) yang menunjukkan status permintaan Anda: apakah transformasi telah
diterapkan ke semua objek yang ditentukan dalam permintaan Anda.
Manfaat
Skalabilitas: Lakukan transformasi pada jutaan objek dengan satu tugas operasi batch penyimpanan.
Eksekusi tanpa server: Jalankan tugas batch di lingkungan tanpa server, sehingga Anda tidak perlu mengelola infrastruktur.
Otomatisasi: Mengotomatiskan tugas yang kompleks dan berulang, sehingga meningkatkan efisiensi operasional.
Waktu pengembangan yang lebih singkat: Hindari penulisan dan pemeliharaan skrip kustom yang rumit.
Performa: Selesaikan operasi yang sensitif terhadap waktu dalam jangka waktu yang diperlukan. Dengan beberapa tugas batch yang berjalan secara bersamaan di bucket, Anda dapat memproses hingga satu miliar objek dalam waktu tiga jam.
Percobaan ulang otomatis: Percobaan ulang otomatis untuk operasi yang gagal.
Pemantauan tugas: Pelacakan progres yang mendetail untuk memantau status dan penyelesaian semua tugas.
Kasus penggunaan
Jika digunakan dengan kumpulan data Storage Insights, operasi batch penyimpanan memungkinkan Anda menyelesaikan tugas berikut:
Pengelolaan keamanan:
Tetapkan kunci enkripsi pada beberapa objek menggunakan metode tulis ulang objek.
Terapkan atau hapus penangguhan objek untuk mengontrol keabadian objek.
Kepatuhan:
Gunakan pembekuan objek untuk memenuhi persyaratan retensi data terkait kepatuhan terhadap peraturan.
Menghapus data dalam jangka waktu tertentu, untuk memenuhi persyaratan kepatuhan penghapusan total.
Transformasi data: Lakukan pembaruan massal pada metadata objek.
Pengoptimalan biaya: Hapus objek secara massal di bucket Cloud Storage untuk mengurangi biaya penyimpanan.
Konfigurasi tugas
Untuk membuat tugas operasi batch penyimpanan, Anda harus menyetel konfigurasi tugas berikut.
Konfigurasi tugas adalah parameter yang mengontrol cara tugas ditentukan untuk
persyaratan pemrosesan yang berbeda.
Nama tugas: Nama unik untuk mengidentifikasi tugas operasi batch penyimpanan. ID ini digunakan untuk melacak, memantau, dan mereferensikan tugas. Nama tugas berupa alfanumerik, misalnya, job-01.
Deskripsi Tugas (Opsional): Deskripsi singkat tentang tujuan tugas. Hal ini membantu memahami dan mendokumentasikan detail pekerjaan. Misalnya, Deletes all objects in a bucket.
Nama bucket: Nama bucket penyimpanan yang berisi objek yang akan diproses. Hal ini penting untuk menemukan data input. Misalnya, my-bucket. Anda hanya dapat menentukan satu nama bucket untuk suatu tugas.
Pemilihan objek: Kriteria pemilihan yang menentukan objek mana yang akan diproses. Anda dapat menentukan kriteria menggunakan salah satu opsi berikut:
Manifes: Buat manifes dan tentukan lokasinya saat Anda membuat tugas operasi batch penyimpanan. Manifes adalah file CSV, yang diupload ke Google Cloud, yang berisi satu objek atau daftar objek yang ingin Anda proses. Setiap baris dalam manifes
harus menyertakan bucket dan name objek. Anda dapat menentukan
generation objek secara opsional. Jika Anda tidak menentukan generation, versi objek saat ini akan digunakan.
File harus menyertakan baris header dengan format berikut:
Awalan objek: Tentukan daftar awalan untuk memfilter objek dalam bucket. Hanya objek dengan awalan ini yang diproses. Jika kosong, semua objek dalam bucket akan diproses.
Jenis tugas: Operasi batch penyimpanan mendukung jenis tugas berikut, yang menjalankan satu tugas
per operasi batch.
Penghapusan objek: Anda dapat menghapus objek dalam bucket. Hal ini sangat penting untuk pengoptimalan biaya, pengelolaan siklus proses data, dan kepatuhan terhadap kebijakan penghapusan data.
Update metadata: Anda dapat mengubah metadata objek. Hal ini mencakup memperbarui metadata kustom, kelas penyimpanan, dan properti objek lainnya.
Pembaruan penangguhan objek: Anda dapat mengaktifkan atau menonaktifkan penangguhan objek. Penangguhan objek mencegah objek dihapus atau dimodifikasi, yang penting untuk tujuan kepatuhan dan retensi data.
Operasi batch penyimpanan memiliki batasan berikut:
Tugas operasi batch penyimpanan memiliki masa aktif maksimum 14 hari. Setiap
tugas yang sedang berjalan dan tidak selesai dalam waktu 14 hari sejak dibuat akan
dibatalkan secara otomatis.
Sebaiknya jangan jalankan lebih dari 20 tugas operasi batch serentak di bucket yang sama.
Operasi batch penyimpanan tidak didukung di bucket berikut:
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-08-25 UTC."],[],[],null,["# Storage batch operations\n\n| Storage batch operations is available only if you've configured [Storage Intelligence](/storage/docs/storage-intelligence/overview).\n\nThis document describes storage batch operations, a\nCloud Storage capability that lets you perform operations on billions of\nobjects in a serverless manner. Using\nstorage batch operations, you can automate large-scale API\noperations on billions of objects, reducing the development time required to\nwrite and maintain scripts for each request.\n\nTo learn how to create storage batch operations jobs, see\n[Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs).\n\nOverview\n--------\n\nStorage batch operations let you run one of four transformations on\nmultiple objects at once: placing an object hold, deleting an object,\nupdating object metadata, and rewriting objects. To use\nstorage batch operations, you create a [job configuration](#job-configurations) that\ndefines what transformations should be applied to which objects.\n\nCreating a batch operation returns a long-running operation\n(LRO) that indicates the status of your request: whether the transformation has\nbeen applied to all specified objects in your request.\n\n### Benefits\n\n- **Scalability**: Perform transformations on millions of objects with a single storage batch operations job.\n- **Serverless execution**: Run batch jobs in a serverless environment, eliminating the need to manage infrastructure.\n- **Automation**: Automate complex and repetitive tasks, improving operational efficiency.\n- **Reduced development time**: Avoid writing and maintaining complex custom scripts.\n- **Performance**: Complete time-sensitive operations within the required time. With multiple batch jobs running concurrently on a bucket, you can process up to one billion objects within three hours.\n- **Automatic retries**: Automatic retries for failed operations.\n- **Job monitoring**: Detailed progress tracking to monitor the status and completion of all jobs.\n\n### Use cases\n\nWhen used with [Storage Insights datasets](/storage/docs/insights/datasets),\nstorage batch operations allow you to accomplish the following\ntasks:\n\n- **Security management**:\n\n - Set encryption keys on multiple objects using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n - Apply or remove object holds to control object immutability.\n- **Compliance**:\n\n - Use object holds to meet data retention requirements for regulatory compliance.\n - Delete data between specific timeframes, to meet wipeout compliance requirements.\n- **Data transformation**: Perform bulk updates to object metadata.\n\n- **Cost optimization**: Bulk delete objects in Cloud Storage buckets to\n reduce storage costs.\n\nJob configurations\n------------------\n\nTo [create a storage batch operations job](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-batch-operation-job), you'll need to set the following job configurations.\nJob configurations are parameters that control how the job is defined for\ndifferent processing requirements.\n\n- **Job name** : A unique name to identify the storage batch operations job. This is used for tracking, monitoring, and referencing the job. Job names are alphanumeric, for example, `job-01`.\n\n- **Job Description** (Optional): A brief description of the job's purpose. This helps with understanding and documenting the job details. For example, `Deletes all objects in a bucket`.\n\n- **Bucket name** : The name of the storage bucket containing the objects to be processed. This is essential for locating the input data. For example, `my-bucket`. You can specify only one bucket name for a job.\n\n- **Object selection**: The selection criteria that defines which objects to process. You can specify the criteria using any one of the following options:\n\n - **Manifest** : Create a manifest and specify its location when you create the storage batch operations job. The manifest is a CSV file, uploaded to Google Cloud, that contains one object or a list of objects that you want to process. Each row in the manifest must include the `bucket` and `name` of the object. You can optionally specify the `generation` of the object. If you don't specify the `generation`, the current version of the object is used.\n\n The file must include a header row of the following format:\n\n `bucket,name,generation`\n\n The following is an example of the manifest: \n\n ```\n bucket,name,generation\n bucket_1,object_1,generation_1\n bucket_1,object_2,generation_2\n bucket_1,object_3,generation_3\n ```\n | **Caution:** Ensure the manifest only includes objects from the bucket provided in the storage batch operations job. Rows referencing other buckets are ignored.\n\n You can also create a manifest using Storage Insights datasets. For details, see [Create a manifest using Storage Insights datasets](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-manifest-using-insights-datasets).\n - **Object prefixes**: Specify a list of prefixes to filter objects within the bucket. Only objects with these prefixes are processed. If empty, all objects in the bucket are processed.\n\n- **Job type:** Storage batch operations supports the following job types, running a single job per batch operation.\n\n - **Object deletion** : You can [delete objects](/storage/docs/deleting-objects) within a bucket. This is crucial for cost optimization, data lifecycle management, and compliance with data deletion policies.\n\n | **Caution:** By default, Cloud Storage retains soft-deleted objects for a duration of seven days. If you have accidentally deleted the objects, you can restore these soft-deleted objects during this duration. However, if you have disabled [soft delete](/storage/docs/soft-delete) for your bucket, you cannot recover deleted objects.\n - **Metadata updates** : You can modify the [object metadata](/storage/docs/metadata#editable). This includes updating custom metadata, storage class, and other object properties.\n\n - **Object hold updates** : You can enable or disable [object holds](/storage/docs/object-holds). Object holds prevent objects from being deleted or modified, which is essential for compliance and data retention purposes.\n\n - **Object encryption key updates** : You can manage the [customer-managed encryption keys](/storage/docs/encryption/customer-managed-keys) for one or more objects. This includes applying or changing encryption keys using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n\nLimitations\n-----------\n\nStorage batch operations has the following limitations:\n\n- Storage batch operations jobs have a maximum lifetime of 14 days. Any\n ongoing job that doesn't complete within 14 days of its creation is\n automatically cancelled.\n\n- We don't recommend running more than 20 concurrent batch operations jobs on\n the same bucket.\n\n- Storage batch operations is not supported on the following\n buckets:\n\n - Buckets that have [Requestor Pays](/storage/docs/requester-pays) enabled.\n\n - Buckets located in the `us-west8` region.\n\nWhat's next\n-----------\n\n- [Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs)"]]
