Cloud Storage-Abos

Ein Cloud Storage-Abo ist eine Art Exportabo, bei dem empfangene Nachrichten in einen vorhandenen Cloud Storage-Bucket geschrieben werden. Sie müssen keinen separaten Abonnentenclient konfigurieren. Mit der Google Cloud Console, der Google Cloud CLI, den Clientbibliotheken oder der Pub/Sub API können Sie Cloud Storage-Abos erstellen, aktualisieren, auflisten, trennen oder löschen.

Ohne den Cloud Storage-Abotyp benötigen Sie ein Pull- oder Push-Abo und einen Abonnenten (z. B. Dataflow), der Nachrichten liest und in einen Cloud Storage-Bucket schreibt. Der Overhead beim Ausführen eines Dataflow-Jobs ist nicht erforderlich, wenn Nachrichten vor dem Speichern in einem Cloud Storage-Bucket nicht zusätzlich verarbeitet werden müssen. Sie können stattdessen ein Cloud Storage-Abo verwenden.

Für Pub/Sub-Systeme, bei denen eine Datentransformation erforderlich ist, bevor die Daten in einem Cloud Storage-Bucket gespeichert werden, wird jedoch weiterhin eine Dataflow-Pipeline empfohlen.

Informationen zum Streamen von Daten mit Dataflow von Pub/Sub nach Cloud Storage und zur Transformation der Daten finden Sie unter Nachrichten mit Dataflow aus Pub/Sub streamen.

Hinweise

Bevor Sie dieses Dokument lesen, sollten Sie mit Folgendem vertraut sein:

Workflow für Cloud Storage-Abos

Die folgende Abbildung zeigt den Workflow zwischen einem Cloud Storage-Abo und Cloud Storage.

Nachrichtenfluss für ein Cloud Storage-Abo

Abbildung 1. Workflow für ein Cloud Storage-Abo

Hier eine kurze Beschreibung des Workflows, der auf Abbildung 1 verweist:

  1. Pub/Sub verwendet die Cloud Storage API, um Daten an den Cloud Storage-Bucket zu senden. Nach einem erfolgreichen Schreibvorgang gibt die API eine OK-Antwort zurück.

  2. Die Nachrichten werden in Batches an den Cloud Storage-Bucket gesendet. Ein einzelner Batch entspricht einem Objekt, das im Cloud Storage-Bucket gespeichert ist. Sie können die Batcheinstellungen basierend auf der Objektgröße und der seit der Erstellung des Objekts verstrichenen Zeit konfigurieren.

  3. Für den Workflow zum Schreiben eines Objekts in einen Cloud Storage-Bucket sind zwei OK-Antworten erforderlich. Die erste OK-Antwort wird gesendet, wenn eine Nachricht erfolgreich in ein Objekt geschrieben wurde. Die zweite OK-Antwort wird gesendet, wenn das Objekt mit der Nachricht fertiggestellt ist. Eine Meldung wird erst im Bucket angezeigt, nachdem das Cloud Storage-Objekt, das sie enthält, erfolgreich abgeschlossen wurde.

  4. Wenn während des Schreibvorgangs Fehler auftreten, wird die Pub/Sub-Nachricht selbst negativ bestätigt. Die Nachricht wird dann noch einmal gesendet. Wenn der Schreibvorgang für die Nachricht oft genug fehlschlägt und Sie für das Abo ein Thema für unzustellbare Nachrichten konfiguriert haben, wird die Nachricht in das Thema für unzustellbare Nachrichten verschoben.

Eigenschaften eines Cloud Storage-Abos

Wenn Sie ein Cloud Storage-Abo erstellen, müssen Sie einige zusätzliche Eigenschaften angeben. Dazu gehören unter anderem gängige Aboeigenschaften, Anforderungen an Dateinamen und Formate sowie Speicheranforderungen. Weitere Informationen zu diesen Properties finden Sie unter Cloud Storage-Abo-Attribute.

Pub/Sub-Dienstkontoberechtigungen

Damit ein Cloud Storage-Abo erstellt werden kann, muss das Pub/Sub-Dienstkonto die Berechtigung zum Schreiben in den entsprechenden Cloud Storage-Bucket und zum Lesen der Bucket-Metadaten haben.

Weitere Informationen finden Sie unter Dem Pub/Sub-Dienstkonto Cloud Storage-Rollen zuweisen.

Umgang mit Nachrichtenfehlern

Wenn eine Pub/Sub-Nachricht nicht in einen Cloud Storage-Bucket geschrieben werden kann, kann sie nicht bestätigt werden. Wenn Sie solche unzustellbaren Nachrichten weiterleiten möchten, konfigurieren Sie ein Thema für unzustellbare Nachrichten für das Cloud Storage-Abo.

Wenn Pub/Sub keine Nachrichten in Cloud Storage schreiben kann, verzögert Pub/Sub die Zustellung von Nachrichten ähnlich wie beim Push-Backoff-Verhalten.

Kontingente

Kontingenteinschränkungen gelten für den Cloud Storage-Durchsatz der Abonnenten in jeder Region. Informationen zu den Kontingenten für Cloud Storage-Abos finden Sie unter Pub/Sub-Kontingente und Limits im Abschnitt zu Exportkontingentlimits für Abonnenten.

Preise

Informationen zu den Preisen für Cloud Storage-Abos finden Sie auf der Preisseite für Pub/Sub.

Nächste Schritte