Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
In diesem Dokument werden Batchvorgänge für Speicher beschrieben. Mit dieser Cloud Storage-Funktion können Sie serverlos Vorgänge für Milliarden von Objekten ausführen. Mit Speicher-Batchvorgängen können Sie umfangreiche API-Vorgänge für Milliarden von Objekten automatisieren und so die Entwicklungszeit für das Schreiben und Verwalten von Skripts für jede Anfrage verkürzen.
Mit Storage-Batchvorgängen können Sie eine von vier Transformationen gleichzeitig für mehrere Objekte ausführen: Objekt-Hold festlegen, Objekt löschen, Objektmetadaten aktualisieren und Objekte neu schreiben. Wenn Sie Speicher-Batchvorgänge verwenden möchten, erstellen Sie eine Jobkonfiguration, in der definiert wird, welche Transformationen auf welche Objekte angewendet werden sollen.
Wenn Sie einen Batchvorgang erstellen, wird ein Vorgang mit langer Ausführungszeit (Long-Running Operation, LRO) zurückgegeben, der den Status Ihrer Anfrage angibt: ob die Transformation auf alle angegebenen Objekte in Ihrer Anfrage angewendet wurde.
Vorteile
Skalierbarkeit: Mit einem einzelnen Speicher-Batchvorgangsjob können Sie Transformationen für Millionen von Objekten ausführen.
Serverlose Ausführung: Führen Sie Batchjobs in einer serverlosen Umgebung aus, sodass Sie keine Infrastruktur verwalten müssen.
Automatisierung: Automatisieren Sie komplexe und sich wiederholende Aufgaben, um die betriebliche Effizienz zu steigern.
Kürzere Entwicklungszeit: Sie müssen keine komplexen benutzerdefinierten Skripts schreiben und verwalten.
Leistung: Führen Sie zeitkritische Vorgänge innerhalb des erforderlichen Zeitrahmens aus. Wenn mehrere Batchjobs gleichzeitig für einen Bucket ausgeführt werden, können Sie innerhalb von drei Stunden bis zu einer Milliarde Objekte verarbeiten.
Automatische Wiederholungsversuche: Automatische Wiederholungsversuche für fehlgeschlagene Vorgänge.
Job-Monitoring: Detaillierte Fortschrittsverfolgung, um den Status und Abschluss aller Jobs zu überwachen.
Anwendungsfälle
In Kombination mit Storage Insights-Datasets können Sie mit Speicher-Batchvorgängen die folgenden Aufgaben ausführen:
Sicherheitsmanagement:
Legen Sie Verschlüsselungsschlüssel für mehrere Objekte mit der Methode Objekt umschreiben fest.
Objekt-Holds anwenden oder entfernen, um die Unveränderlichkeit von Objekten zu steuern
Compliance:
Mit Objektholds können Sie die Anforderungen an die Datenaufbewahrung für die Einhaltung von Vorschriften erfüllen.
Daten aus bestimmten Zeiträumen löschen, um die Anforderungen an das Löschen von Daten zu erfüllen.
Datentransformation: Führen Sie Bulk-Aktualisierungen für Objektmetadaten durch.
Kostenoptimierung: Löschen Sie Objekte in Cloud Storage-Buckets im Bulk, um die Speicherkosten zu senken.
Jobkonfigurationen
Wenn Sie einen Job für Storage-Batchvorgänge erstellen möchten, müssen Sie die folgenden Jobkonfigurationen festlegen.
Jobkonfigurationen sind Parameter, mit denen festgelegt wird, wie der Job für unterschiedliche Verarbeitungsanforderungen definiert wird.
Jobname: Ein eindeutiger Name zur Identifizierung des Jobs für Storage-Batchvorgänge. Dies wird zum Tracking, zur Überwachung und zum Verweisen auf den Job verwendet. Jobnamen sind alphanumerisch, z. B. job-01.
Jobbeschreibung (Optional): Eine kurze Beschreibung des Zwecks des Jobs. Das hilft, die Details des Jobs zu verstehen und zu dokumentieren. Beispiel: Deletes all objects in a bucket.
Bucket-Name: Der Name des Speicher-Buckets, der die zu verarbeitenden Objekte enthält. Dies ist wichtig, um die Eingabedaten zu finden. Beispiel: my-bucket Sie können nur einen Bucket-Namen für einen Job angeben.
Objektauswahl: Die Auswahlkriterien, mit denen festgelegt wird, welche Objekte verarbeitet werden sollen. Sie können die Kriterien mit einer der folgenden Optionen angeben:
Manifest: Erstellen Sie ein Manifest und geben Sie seinen Speicherort an, wenn Sie den Speicher-Batchvorgangsjob erstellen. Das Manifest ist eine CSV-Datei, die in Google Cloudhochgeladen wird und ein Objekt oder eine Liste von Objekten enthält, die Sie verarbeiten möchten. Jede Zeile im Manifest muss die bucket und name des Objekts enthalten. Optional können Sie die generation des Objekts angeben. Wenn Sie generation nicht angeben, wird die aktuelle Version des Objekts verwendet.
Die Datei muss eine Kopfzeile im folgenden Format enthalten:
Objektpräfixe: Geben Sie eine Liste mit Präfixen an, um Objekte im Bucket zu filtern. Nur Objekte mit diesen Präfixen werden verarbeitet. Wenn leer, werden alle Objekte im Bucket verarbeitet.
Auftragstyp:Für Storage-Batchvorgänge werden die folgenden Auftragstypen unterstützt. Dabei wird ein einzelner Auftrag pro Batchvorgang ausgeführt.
Objektlöschung: Sie können Objekte in einem Bucket löschen. Dies ist entscheidend für die Kostenoptimierung, die Verwaltung des Datenlebenszyklus und die Einhaltung von Richtlinien zur Datenlöschung.
Metadaten aktualisieren: Sie können die Objektmetadaten ändern. Dazu gehören das Aktualisieren benutzerdefinierter Metadaten, der Speicherklasse und anderer Objekteigenschaften.
Aktualisierungen von Objekt-Holds: Sie können Objekt-Holds aktivieren oder deaktivieren. Objekt-Holds verhindern, dass Objekte gelöscht oder geändert werden. Dies ist für die Einhaltung von Vorschriften und die Datenaufbewahrung unerlässlich.
Für Speicherbatchvorgänge gelten die folgenden Einschränkungen:
Batchvorgangsjobs für Speicher haben eine maximale Lebensdauer von 14 Tagen. Alle laufenden Jobs, die nicht innerhalb von 14 Tagen nach ihrer Erstellung abgeschlossen werden, werden automatisch abgebrochen.
Es wird nicht empfohlen, mehr als 20 gleichzeitige Batchvorgänge für denselben Bucket auszuführen.
Storage-Batchvorgänge werden für die folgenden Buckets nicht unterstützt:
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-08-25 (UTC)."],[],[],null,["# Storage batch operations\n\n| Storage batch operations is available only if you've configured [Storage Intelligence](/storage/docs/storage-intelligence/overview).\n\nThis document describes storage batch operations, a\nCloud Storage capability that lets you perform operations on billions of\nobjects in a serverless manner. Using\nstorage batch operations, you can automate large-scale API\noperations on billions of objects, reducing the development time required to\nwrite and maintain scripts for each request.\n\nTo learn how to create storage batch operations jobs, see\n[Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs).\n\nOverview\n--------\n\nStorage batch operations let you run one of four transformations on\nmultiple objects at once: placing an object hold, deleting an object,\nupdating object metadata, and rewriting objects. To use\nstorage batch operations, you create a [job configuration](#job-configurations) that\ndefines what transformations should be applied to which objects.\n\nCreating a batch operation returns a long-running operation\n(LRO) that indicates the status of your request: whether the transformation has\nbeen applied to all specified objects in your request.\n\n### Benefits\n\n- **Scalability**: Perform transformations on millions of objects with a single storage batch operations job.\n- **Serverless execution**: Run batch jobs in a serverless environment, eliminating the need to manage infrastructure.\n- **Automation**: Automate complex and repetitive tasks, improving operational efficiency.\n- **Reduced development time**: Avoid writing and maintaining complex custom scripts.\n- **Performance**: Complete time-sensitive operations within the required time. With multiple batch jobs running concurrently on a bucket, you can process up to one billion objects within three hours.\n- **Automatic retries**: Automatic retries for failed operations.\n- **Job monitoring**: Detailed progress tracking to monitor the status and completion of all jobs.\n\n### Use cases\n\nWhen used with [Storage Insights datasets](/storage/docs/insights/datasets),\nstorage batch operations allow you to accomplish the following\ntasks:\n\n- **Security management**:\n\n - Set encryption keys on multiple objects using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n - Apply or remove object holds to control object immutability.\n- **Compliance**:\n\n - Use object holds to meet data retention requirements for regulatory compliance.\n - Delete data between specific timeframes, to meet wipeout compliance requirements.\n- **Data transformation**: Perform bulk updates to object metadata.\n\n- **Cost optimization**: Bulk delete objects in Cloud Storage buckets to\n reduce storage costs.\n\nJob configurations\n------------------\n\nTo [create a storage batch operations job](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-batch-operation-job), you'll need to set the following job configurations.\nJob configurations are parameters that control how the job is defined for\ndifferent processing requirements.\n\n- **Job name** : A unique name to identify the storage batch operations job. This is used for tracking, monitoring, and referencing the job. Job names are alphanumeric, for example, `job-01`.\n\n- **Job Description** (Optional): A brief description of the job's purpose. This helps with understanding and documenting the job details. For example, `Deletes all objects in a bucket`.\n\n- **Bucket name** : The name of the storage bucket containing the objects to be processed. This is essential for locating the input data. For example, `my-bucket`. You can specify only one bucket name for a job.\n\n- **Object selection**: The selection criteria that defines which objects to process. You can specify the criteria using any one of the following options:\n\n - **Manifest** : Create a manifest and specify its location when you create the storage batch operations job. The manifest is a CSV file, uploaded to Google Cloud, that contains one object or a list of objects that you want to process. Each row in the manifest must include the `bucket` and `name` of the object. You can optionally specify the `generation` of the object. If you don't specify the `generation`, the current version of the object is used.\n\n The file must include a header row of the following format:\n\n `bucket,name,generation`\n\n The following is an example of the manifest: \n\n ```\n bucket,name,generation\n bucket_1,object_1,generation_1\n bucket_1,object_2,generation_2\n bucket_1,object_3,generation_3\n ```\n | **Caution:** Ensure the manifest only includes objects from the bucket provided in the storage batch operations job. Rows referencing other buckets are ignored.\n\n You can also create a manifest using Storage Insights datasets. For details, see [Create a manifest using Storage Insights datasets](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-manifest-using-insights-datasets).\n - **Object prefixes**: Specify a list of prefixes to filter objects within the bucket. Only objects with these prefixes are processed. If empty, all objects in the bucket are processed.\n\n- **Job type:** Storage batch operations supports the following job types, running a single job per batch operation.\n\n - **Object deletion** : You can [delete objects](/storage/docs/deleting-objects) within a bucket. This is crucial for cost optimization, data lifecycle management, and compliance with data deletion policies.\n\n | **Caution:** By default, Cloud Storage retains soft-deleted objects for a duration of seven days. If you have accidentally deleted the objects, you can restore these soft-deleted objects during this duration. However, if you have disabled [soft delete](/storage/docs/soft-delete) for your bucket, you cannot recover deleted objects.\n - **Metadata updates** : You can modify the [object metadata](/storage/docs/metadata#editable). This includes updating custom metadata, storage class, and other object properties.\n\n - **Object hold updates** : You can enable or disable [object holds](/storage/docs/object-holds). Object holds prevent objects from being deleted or modified, which is essential for compliance and data retention purposes.\n\n - **Object encryption key updates** : You can manage the [customer-managed encryption keys](/storage/docs/encryption/customer-managed-keys) for one or more objects. This includes applying or changing encryption keys using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n\nLimitations\n-----------\n\nStorage batch operations has the following limitations:\n\n- Storage batch operations jobs have a maximum lifetime of 14 days. Any\n ongoing job that doesn't complete within 14 days of its creation is\n automatically cancelled.\n\n- We don't recommend running more than 20 concurrent batch operations jobs on\n the same bucket.\n\n- Storage batch operations is not supported on the following\n buckets:\n\n - Buckets that have [Requestor Pays](/storage/docs/requester-pays) enabled.\n\n - Buckets located in the `us-west8` region.\n\nWhat's next\n-----------\n\n- [Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs)"]]
