Batchvorgänge für Speicher

In diesem Dokument werden Batchvorgänge für Speicher beschrieben. Mit dieser Cloud Storage-Funktion können Sie serverlos Vorgänge für Milliarden von Objekten ausführen. Mit Speicher-Batchvorgängen können Sie umfangreiche API-Vorgänge für Milliarden von Objekten automatisieren und so die Entwicklungszeit für das Schreiben und Verwalten von Skripts für jede Anfrage verkürzen.

Informationen zum Erstellen von Storage-Batchvorgangsjobs finden Sie unter Storage-Batchvorgangsjobs erstellen und verwalten.

Übersicht

Mit Storage-Batchvorgängen können Sie eine von vier Transformationen gleichzeitig für mehrere Objekte ausführen: Objekt-Hold festlegen, Objekt löschen, Objektmetadaten aktualisieren und Objekte neu schreiben. Wenn Sie Speicher-Batchvorgänge verwenden möchten, erstellen Sie eine Jobkonfiguration, in der definiert wird, welche Transformationen auf welche Objekte angewendet werden sollen.

Wenn Sie einen Batchvorgang erstellen, wird ein Vorgang mit langer Ausführungszeit (Long-Running Operation, LRO) zurückgegeben, der den Status Ihrer Anfrage angibt: ob die Transformation auf alle angegebenen Objekte in Ihrer Anfrage angewendet wurde.

Vorteile

  • Skalierbarkeit: Mit einem einzelnen Speicher-Batchvorgangsjob können Sie Transformationen für Millionen von Objekten ausführen.
  • Serverlose Ausführung: Führen Sie Batchjobs in einer serverlosen Umgebung aus, sodass Sie keine Infrastruktur verwalten müssen.
  • Automatisierung: Automatisieren Sie komplexe und sich wiederholende Aufgaben, um die betriebliche Effizienz zu steigern.
  • Kürzere Entwicklungszeit: Sie müssen keine komplexen benutzerdefinierten Skripts schreiben und verwalten.
  • Leistung: Führen Sie zeitkritische Vorgänge innerhalb des erforderlichen Zeitrahmens aus. Wenn mehrere Batchjobs gleichzeitig für einen Bucket ausgeführt werden, können Sie innerhalb von drei Stunden bis zu einer Milliarde Objekte verarbeiten.
  • Automatische Wiederholungsversuche: Automatische Wiederholungsversuche für fehlgeschlagene Vorgänge.
  • Job-Monitoring: Detaillierte Fortschrittsverfolgung, um den Status und Abschluss aller Jobs zu überwachen.

Anwendungsfälle

In Kombination mit Storage Insights-Datasets können Sie mit Speicher-Batchvorgängen die folgenden Aufgaben ausführen:

  • Sicherheitsmanagement:

    • Legen Sie Verschlüsselungsschlüssel für mehrere Objekte mit der Methode Objekt umschreiben fest.
    • Objekt-Holds anwenden oder entfernen, um die Unveränderlichkeit von Objekten zu steuern

  • Compliance:

    • Mit Objektholds können Sie die Anforderungen an die Datenaufbewahrung für die Einhaltung von Vorschriften erfüllen.
    • Daten aus bestimmten Zeiträumen löschen, um die Anforderungen an das Löschen von Daten zu erfüllen.

  • Datentransformation: Führen Sie Bulk-Aktualisierungen für Objektmetadaten durch.

  • Kostenoptimierung: Löschen Sie Objekte in Cloud Storage-Buckets im Bulk, um die Speicherkosten zu senken.

Jobkonfigurationen

Wenn Sie einen Job für Storage-Batchvorgänge erstellen möchten, müssen Sie die folgenden Jobkonfigurationen festlegen. Jobkonfigurationen sind Parameter, mit denen festgelegt wird, wie der Job für unterschiedliche Verarbeitungsanforderungen definiert wird.

  • Jobname: Ein eindeutiger Name zur Identifizierung des Jobs für Storage-Batchvorgänge. Dies wird zum Tracking, zur Überwachung und zum Verweisen auf den Job verwendet. Jobnamen sind alphanumerisch, z. B. job-01.

  • Jobbeschreibung (Optional): Eine kurze Beschreibung des Zwecks des Jobs. Das hilft, die Details des Jobs zu verstehen und zu dokumentieren. Beispiel: Deletes all objects in a bucket.

  • Bucket-Name: Der Name des Speicher-Buckets, der die zu verarbeitenden Objekte enthält. Dies ist wichtig, um die Eingabedaten zu finden. Beispiel: my-bucket Sie können nur einen Bucket-Namen für einen Job angeben.

  • Objektauswahl: Die Auswahlkriterien, mit denen festgelegt wird, welche Objekte verarbeitet werden sollen. Sie können die Kriterien mit einer der folgenden Optionen angeben:

    • Manifest: Erstellen Sie ein Manifest und geben Sie seinen Speicherort an, wenn Sie den Speicher-Batchvorgangsjob erstellen. Das Manifest ist eine CSV-Datei, die in Google Cloudhochgeladen wird und ein Objekt oder eine Liste von Objekten enthält, die Sie verarbeiten möchten. Jede Zeile im Manifest muss die bucket und name des Objekts enthalten. Optional können Sie die generation des Objekts angeben. Wenn Sie generation nicht angeben, wird die aktuelle Version des Objekts verwendet.

      Die Datei muss eine Kopfzeile im folgenden Format enthalten:

      bucket,name,generation

      Hier ein Beispiel für das Manifest:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Sie können auch ein Manifest mit Storage Insights-Datasets erstellen. Weitere Informationen finden Sie unter Manifest mit Storage Insights-Datasets erstellen.

    • Objektpräfixe: Geben Sie eine Liste mit Präfixen an, um Objekte im Bucket zu filtern. Nur Objekte mit diesen Präfixen werden verarbeitet. Wenn leer, werden alle Objekte im Bucket verarbeitet.

  • Auftragstyp:Für Storage-Batchvorgänge werden die folgenden Auftragstypen unterstützt. Dabei wird ein einzelner Auftrag pro Batchvorgang ausgeführt.

    • Objektlöschung: Sie können Objekte in einem Bucket löschen. Dies ist entscheidend für die Kostenoptimierung, die Verwaltung des Datenlebenszyklus und die Einhaltung von Richtlinien zur Datenlöschung.

    • Metadaten aktualisieren: Sie können die Objektmetadaten ändern. Dazu gehören das Aktualisieren benutzerdefinierter Metadaten, der Speicherklasse und anderer Objekteigenschaften.

    • Aktualisierungen von Objekt-Holds: Sie können Objekt-Holds aktivieren oder deaktivieren. Objekt-Holds verhindern, dass Objekte gelöscht oder geändert werden. Dies ist für die Einhaltung von Vorschriften und die Datenaufbewahrung unerlässlich.

    • Aktualisierungen von Objektschlüsseln: Sie können die vom Kunden verwalteten Verschlüsselungsschlüssel für ein oder mehrere Objekte verwalten. Dazu gehört auch das Anwenden oder Ändern von Verschlüsselungsschlüsseln mit der Methode Objekt umschreiben.

Beschränkungen

Für Batchvorgänge für den Speicher gelten die folgenden Einschränkungen:

  • Batchvorgänge für Speicher haben eine maximale Lebensdauer von 14 Tagen. Alle laufenden Jobs, die nicht innerhalb von 14 Tagen nach ihrer Erstellung abgeschlossen werden, werden automatisch abgebrochen.

  • Es wird nicht empfohlen, mehr als 20 gleichzeitige Batchvorgänge für denselben Bucket auszuführen.

  • Storage-Batchvorgänge sind nicht mit VPC Service Controls kompatibel.

  • Storage-Batchvorgänge werden für die folgenden Buckets nicht unterstützt:

    • Buckets, für die Anforderer bezahlt aktiviert ist.

    • Buckets in den Regionen eur4 oder us-west8.

Nächste Schritte