Créer des abonnements Cloud Storage

Ce document explique comment créer un abonnement Cloud Storage. Vous pouvez utiliser la console Google Cloud , la Google Cloud CLI, la bibliothèque cliente ou l'API Pub/Sub pour créer un abonnement Cloud Storage.

Avant de commencer

Avant de lire ce document, assurez-vous de connaître les éléments suivants:

• Fonctionnement d'un abonnement Cloud Storage
• Fonctionnement de Cloud Storage et création et gestion de buckets Cloud Storage
• Configurer un sujet de lettres mortes pour gérer les échecs de messages

Rôles et autorisations requis

Vous trouverez ci-dessous une liste de consignes concernant les rôles et les autorisations:

• Pour créer un abonnement, vous devez configurer le contrôle des accès au niveau du projet.

• Vous avez également besoin d'autorisations au niveau des ressources si vos abonnements et vos sujets se trouvent dans différents projets, comme indiqué plus loin dans cette section.

• Pour créer un abonnement Cloud Storage, l'agent de service Pub/Sub ou un compte de service personnalisé doit être autorisé à écrire dans le bucket Cloud Storage spécifique et à lire ses métadonnées. Pour savoir comment accorder ces autorisations, consultez la section suivante de ce document.

Pour obtenir les autorisations nécessaires pour créer des abonnements Cloud Storage, demandez à votre administrateur de vous accorder le rôle IAM Éditeur Pub/Sub (roles/pubsub.editor) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer des abonnements Cloud Storage. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour autoriser un principal d'un projet à créer un abonnement Cloud Storage dans un autre projet, vous devez lui accorder le rôle Éditeur Pub/Sub (roles/pubsub.editor) dans les deux projets. Cela fournit les autorisations nécessaires pour créer l'abonnement Google Cloud et l'associer au sujet d'origine. Le rôle "Éditeur Pub/Sub" (roles/pubsub.editor) sur le sujet vous aide également à associer des abonnements Google Cloud dans un autre projet au sujet.

Attribuer des rôles aux comptes de service

Certains Google Cloud services disposent de comptes de service gérés par Google Cloudqui leur permettent d'accéder à vos ressources. Ces comptes de service sont appelés agents de service. Pub/Sub crée et gère un agent de service pour chaque projet au format service-project-number@gcp-sa-pubsub.iam.gserviceaccount.com.

Vous pouvez choisir d'autoriser l'agent de service Pub/Sub ou un compte de service personnalisé à écrire dans le bucket Cloud Storage.

Accorder une autorisation à l'agent de service Pub/Sub signifie que tout utilisateur autorisé à créer un abonnement dans votre projet peut écrire dans le bucket Cloud Storage. Si vous souhaitez fournir des autorisations plus précises pour l'écriture dans le bucket Cloud Storage, configurez plutôt un compte de service personnalisé.

Pour en savoir plus sur l'IAM Cloud Storage, consultez la page Gestion de l'authentification et des accès Cloud Storage.

Attribuer des rôles Cloud Storage à l'agent de service Pub/Sub

Si vous souhaitez créer un abonnement Cloud Storage à l'aide de l'agent de service Pub/Sub, celui-ci doit être autorisé à écrire dans le bucket Cloud Storage spécifique et à lire ses métadonnées.

Attribuez les rôles Créateur d'objets Storage (roles/storage.objectCreator) et Lecteur des anciens buckets Storage (roles/storage.legacyBucketReader) à l'agent de service Pub/Sub. Vous pouvez accorder l'autorisation sur un bucket individuel ou sur l'ensemble du projet.

Attribuer des rôles Cloud Storage à un compte de service personnalisé

Si vous souhaitez utiliser un compte de service personnalisé pour écrire dans un bucket Cloud Storage, vous devez définir les autorisations suivantes:

• Le compte de service personnalisé doit être autorisé à écrire dans le bucket Cloud Storage spécifique et à lire ses métadonnées.
• L'agent de service Pub/Sub doit disposer de l'autorisation iam.serviceAccounts.getAccessToken sur le compte de service personnalisé.
• L'utilisateur qui crée l'abonnement doit disposer de l'autorisation iam.serviceAccounts.actAs sur le compte de service personnalisé.

Créez le compte de service et accordez des autorisations en procédant comme suit:

1. Créez le compte de service personnalisé. Le compte de service doit se trouver dans le même projet que l'abonnement.

2. Attribuez les rôles Créateur d'objets de stockage (roles/storage.objectCreator) et Lecteur de l'ancien bucket de stockage (roles/storage.legacyBucketReader) au compte de service personnalisé.

   Vous pouvez accorder l'autorisation au compte de service pour une seule table du projet ou pour toutes les tables du projet. Pour ce faire, consultez la section appropriée de la section Attribuer des rôles Google Cloud à l'agent de service Pub/Sub. Dans la procédure, remplacez l'adresse e-mail de l'agent de service Pub/Sub par l'adresse e-mail du compte de service personnalisé.

3. Accordez à l'agent de service Pub/Sub l'autorisation iam.serviceAccounts.getAccessToken sur le compte de service personnalisé ou sur tous les comptes de service du projet. Vous pouvez accorder cette autorisation en attribuant le rôle roles/iam.serviceAccountTokenCreator à l'agent de service Pub/Sub.

   Choisissez la méthode appropriée en fonction de vos exigences.

Si vous avez créé le compte de service personnalisé, vous devriez déjà disposer de l'autorisation iam.serviceAccounts.actAs requise. Si vous devez accorder l'autorisation à un autre utilisateur sur le compte de service:

1. Dans la console Google Cloud , accédez à la page Comptes de service.

   Accéder à la page "Comptes de service"

2. Saisissez le nom du compte de service personnalisé dans Filtre.

3. Sélectionnez le compte de service dans la liste.

4. Cliquez sur Comptes principaux disposant d'un accès.

5. Cliquez sur Accorder l'accès.

6. Dans la section Ajouter des comptes principaux, saisissez le nom du compte auquel vous souhaitez accorder l'accès.

7. Dans la liste déroulante Sélectionner un rôle, saisissez Service Account, puis sélectionnez le rôle Utilisateur du compte de service.

8. Cliquez sur Enregistrer.

Propriétés des abonnements Cloud Storage

Lorsque vous configurez un abonnement Cloud Storage, vous devez spécifier les propriétés communes à tous les types d'abonnements, ainsi que certaines propriétés supplémentaires spécifiques aux abonnements Cloud Storage.

Propriétés d'abonnement courantes

Découvrez les propriétés d'abonnement courantes que vous pouvez définir pour tous les abonnements.

Nom du bucket

Un bucket Cloud Storage doit déjà exister avant de créer un abonnement Cloud Storage.

Les messages sont envoyés par lots et stockés dans le bucket Cloud Storage. Un seul lot ou fichier est stocké en tant qu'objet dans le bucket.

L'option Pays du demandeur doit être désactivée pour le bucket Cloud Storage.

Pour créer un bucket Cloud Storage, consultez la page Créer des buckets.

Préfixe, suffixe et date/heure du nom de fichier

Les fichiers Cloud Storage de sortie générés par l'abonnement Cloud Storage sont stockés en tant qu'objets dans le bucket Cloud Storage. Le nom de l'objet stocké dans le bucket Cloud Storage est au format suivant: <file-prefix><UTC-date-time>_<uuid><file-suffix>.

La liste suivante inclut des informations sur le format de fichier et les champs que vous pouvez personnaliser:

• <file-prefix> est le préfixe du nom de fichier personnalisé. Ce champ est facultatif.

• <UTC-date-time> est une chaîne personnalisable générée automatiquement en fonction de l'heure de création de l'objet.

• <uuid> est une chaîne aléatoire générée automatiquement pour l'objet.

• <file-suffix> est le suffixe du nom de fichier personnalisé. Ce champ est facultatif. Le suffixe du nom de fichier ne doit pas se terminer par "/".

• Vous pouvez modifier le préfixe et le suffixe du nom de fichier:

  • Par exemple, si la valeur du préfixe de nom de fichier est prod_ et que la valeur du suffixe de nom de fichier est _archive, un exemple de nom d'objet est prod_2023-09-25T04:10:00+00:00_uN1QuE_archive.

  • Si vous ne spécifiez pas le préfixe et le suffixe du nom de fichier, le nom de l'objet stocké dans le bucket Cloud Storage est au format : <UTC-date-time>_<uuid>.

  • Les exigences de dénomination des objets Cloud Storage s'appliquent également au préfixe et au suffixe du nom de fichier. Pour en savoir plus, consultez la section À propos des objets Cloud Storage.

• Vous pouvez modifier la façon dont la date et l'heure s'affichent dans le nom de fichier:

  • Correspondances de date/heure obligatoires que vous ne pouvez utiliser qu'une seule fois: année (YYYY ou YY), mois (MM), jour (DD), heure (hh), minute (mm), seconde (ss). Par exemple, YY-YYYY ou MMM n'est pas valide.

  • Correspondances facultatives que vous ne pouvez utiliser qu'une seule fois: séparateur de date et heure (T) et décalage horaire (Z ou +00:00).

  • Éléments facultatifs que vous pouvez utiliser plusieurs fois: trait d'union (-), soulignement (_), deux-points (:) et barre oblique (/).

  • Par exemple, si la valeur du format de date et d'heure du nom de fichier est YYYY-MM-DD/hh_mm_ssZ, un exemple de nom d'objet est prod_2023-09-25/04_10_00Z_uNiQuE_archive.

  • Si le format de date et d'heure du nom de fichier se termine par un caractère qui n'est pas un opérateur de correspondance, ce caractère remplace le séparateur entre <UTC-date-time> et <uuid>. Par exemple, si la valeur du format de date et d'heure du nom de fichier est YYYY-MM-DDThh_mm_ss-, un exemple de nom d'objet est prod_2023-09-25T04_10_00-uNiQuE_archive.

Traitement des fichiers par lot

Les abonnements Cloud Storage vous permettent de décider quand créer un fichier de sortie stocké en tant qu'objet dans le bucket Cloud Storage. Pub/Sub écrit un fichier de sortie lorsqu'une des conditions de traitement par lot spécifiées est remplie. Voici les conditions de traitement par lot Cloud Storage:

• Durée maximale des lots de stockage Ce paramètre est obligatoire. L'abonnement Cloud Storage écrit un nouveau fichier de sortie si la valeur spécifiée de la durée maximale est dépassée. Si vous ne spécifiez pas de valeur, une valeur par défaut de cinq minutes est appliquée. Voici les valeurs applicables pour la durée maximale:

  • Valeur minimale = 1 minute
  • Valeur par défaut = 5 minutes
  • Valeur maximale = 10 minutes

• Nombre maximal d'octets par lot de stockage Il s'agit d'un paramètre facultatif. L'abonnement Cloud Storage écrit un nouveau fichier de sortie si la valeur d'octets maximale spécifiée est dépassée. Voici les valeurs applicables pour les octets maximaux:

  • Valeur minimale = 1 Ko
  • Valeur maximale = 10 Go

• Messages de lot de stockage maximal. Il s'agit d'un paramètre facultatif. L'abonnement Cloud Storage écrit un nouveau fichier de sortie si le nombre maximal de messages spécifié est dépassé. Voici les valeurs applicables pour le nombre maximal de messages:

  • Valeur minimale = 1 000

Par exemple, vous pouvez configurer la durée maximale sur 6 minutes et la taille maximale en octets sur 2 Go. Si, à la 4e minute, le fichier de sortie atteint une taille de 2 Go, Pub/Sub finalise le fichier précédent et commence à écrire dans un nouveau fichier.

Un abonnement Cloud Storage peut écrire simultanément dans plusieurs fichiers d'un bucket Cloud Storage. Si vous avez configuré votre abonnement pour créer un fichier toutes les six minutes, vous pouvez observer la création de plusieurs fichiers Cloud Storage toutes les six minutes.

Dans certains cas, Pub/Sub peut commencer à écrire dans un nouveau fichier avant l'heure configurée par les conditions de traitement par lot de fichiers. Un fichier peut également dépasser la valeur "Max. octets" si l'abonnement reçoit des messages plus volumineux que cette valeur.

Format de fichier

Lorsque vous créez un abonnement Cloud Storage, vous pouvez spécifier le format des fichiers de sortie à stocker dans un bucket Cloud Storage sous la forme Texte ou Avro.

• Texte: les messages sont stockés en texte brut. Un caractère de nouvelle ligne sépare un message du message précédent dans le fichier. Seules les charges utiles des messages sont stockées, et non les attributs ni les autres métadonnées.

• Avro: les messages sont stockés au format binaire Apache Avro. Lorsque vous sélectionnez Avro, vous pouvez activer les propriétés supplémentaires suivantes:

  • Écrire des métadonnées: cette option vous permet de stocker les métadonnées du message avec le message. Les métadonnées telles que les champs subscription_name, message_id, publish_time et attributes sont écrites dans les champs de niveau supérieur de l'objet Avro de sortie, tandis que toutes les autres propriétés de message autres que les données (par exemple, une clé de tri, le cas échéant) sont ajoutées en tant qu'entrées dans la mappe attributes.

    Si l'option Écrire des métadonnées est désactivée, seule la charge utile du message est écrite dans l'objet Avro de sortie. Voici le schéma Avro des messages de sortie avec l'option écrire des métadonnées désactivée:

    {
      "type": "record",
      "namespace": "com.google.pubsub",
      "name": "PubsubMessage",
      "fields": [
        { "name": "data", "type": "bytes" }
      ]
    }
    

    Voici le schéma Avro des messages de sortie avec l'option écrire des métadonnées activée:

    {
      "type": "record",
      "namespace": "com.google.pubsub",
      "name": "PubsubMessageWithMetadata",
      "fields": [
        { "name": "subscription_name", "type": "string" },
        { "name": "message_id", "type": "string"  },
        { "name": "publish_time", "type": {
            "type": "long",
            "logicalType": "timestamp-micros"
          }
        },
        { "name": "attributes", "type": { "type": "map", "values": "string" } },
        { "name": "data", "type": "bytes" }
      ]
    }
    

  • Utiliser un schéma avec sujet: cette option permet à Pub/Sub d'utiliser le schéma du sujet Pub/Sub auquel l'abonnement est associé lors de l'écriture de fichiers Avro.

    Lorsque vous utilisez cette option, n'oubliez pas de vérifier les exigences supplémentaires suivantes:

    • Le schéma du sujet doit être au format Apache Avro.

    • Si les options Utiliser le schéma de sujet et Écrire des métadonnées sont activées, le schéma de sujet doit comporter un objet Enregistrement à la racine. Pub/Sub développe la liste des champs de l'enregistrement pour inclure les champs de métadonnées. Par conséquent, l'enregistrement ne peut contenir aucun champ portant le même nom que les champs de métadonnées (subscription_name, message_id, publish_time ou attributes).

Compte de service

Vous avez les options suivantes pour écrire des messages dans une table BigQuery ou un bucket Cloud Storage:

• Configurez un compte de service personnalisé afin que seuls les utilisateurs disposant de l'autorisation iam.serviceAccounts.actAs sur le compte de service puissent créer un abonnement qui écrit dans la table ou le bucket. Le rôle Utilisateur du compte de service (roles/iam.serviceAccountUser) est un exemple de rôle qui inclut l'autorisation iam.serviceAccounts.actAs.

• Utilisez l'agent de service Pub/Sub par défaut, qui permet à tout utilisateur autorisé à créer des abonnements dans le projet de créer un abonnement qui écrit dans la table ou le bucket. L'agent de service Pub/Sub est le paramètre par défaut lorsque vous ne spécifiez pas de compte de service personnalisé.

Créer un abonnement Cloud Storage

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::SubscriptionAdminClient client,
   std::string const& project_id, std::string const& topic_id,
   std::string const& subscription_id, std::string const& bucket) {
  google::pubsub::v1::Subscription request;
  request.set_name(
      pubsub::Subscription(project_id, subscription_id).FullName());
  request.set_topic(pubsub::Topic(project_id, topic_id).FullName());
  request.mutable_cloud_storage_config()->set_bucket(bucket);
  auto sub = client.CreateSubscription(request);
  if (!sub) {
    if (sub.status().code() == google::cloud::StatusCode::kAlreadyExists) {
      std::cout << "The subscription already exists\n";
      return;
    }
    throw std::move(sub).status();
  }

  std::cout << "The subscription was successfully created: "
            << sub->DebugString() << "\n";
}

using Google.Cloud.PubSub.V1;
using Google.Protobuf.WellKnownTypes;
using System;

public class CreateCloudStorageSubscriptionSample
{
    public Subscription CreateCloudStorageSubscription(string projectId, string topicId, string subscriptionId,
        string bucket, string filenamePrefix, string filenameSuffix, TimeSpan maxDuration)
    {
        SubscriberServiceApiClient subscriber = SubscriberServiceApiClient.Create();
        TopicName topicName = TopicName.FromProjectTopic(projectId, topicId);
        SubscriptionName subscriptionName = SubscriptionName.FromProjectSubscription(projectId, subscriptionId);

        var subscriptionRequest = new Subscription
        {
            SubscriptionName = subscriptionName,
            TopicAsTopicName = topicName,
            CloudStorageConfig = new CloudStorageConfig
            {
                Bucket = bucket,
                FilenamePrefix = filenamePrefix,
                FilenameSuffix = filenameSuffix,
                MaxDuration = Duration.FromTimeSpan(maxDuration)
            }
        };
        var subscription = subscriber.CreateSubscription(subscriptionRequest);
        return subscription;
    }
}

import (
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/pubsub"
)

// createCloudStorageSubscription creates a Pub/Sub subscription that exports messages to Cloud Storage.
func createCloudStorageSubscription(w io.Writer, projectID, subID string, topic *pubsub.Topic, bucket string) error {
	// projectID := "my-project-id"
	// subID := "my-sub"
	// topic of type https://godoc.org/cloud.google.com/go/pubsub#Topic
	// note bucket should not have the gs:// prefix
	// bucket := "my-bucket"
	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	sub, err := client.CreateSubscription(ctx, subID, pubsub.SubscriptionConfig{
		Topic: topic,
		CloudStorageConfig: pubsub.CloudStorageConfig{
			Bucket:         bucket,
			FilenamePrefix: "log_events_",
			FilenameSuffix: ".avro",
			OutputFormat:   &pubsub.CloudStorageOutputFormatAvroConfig{WriteMetadata: true},
			MaxDuration:    1 * time.Minute,
			MaxBytes:       1e8,
		},
	})
	if err != nil {
		return fmt.Errorf("client.CreateSubscription: %w", err)
	}
	fmt.Fprintf(w, "Created Cloud Storage subscription: %v\n", sub)

	return nil
}

import com.google.cloud.pubsub.v1.SubscriptionAdminClient;
import com.google.protobuf.Duration;
import com.google.pubsub.v1.CloudStorageConfig;
import com.google.pubsub.v1.ProjectSubscriptionName;
import com.google.pubsub.v1.ProjectTopicName;
import com.google.pubsub.v1.Subscription;
import java.io.IOException;

public class CreateCloudStorageSubscriptionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    String subscriptionId = "your-subscription-id";
    String bucket = "your-bucket";
    String filenamePrefix = "log_events_";
    String filenameSuffix = ".text";
    Duration maxDuration = Duration.newBuilder().setSeconds(300).build();

    createCloudStorageSubscription(
        projectId, topicId, subscriptionId, bucket, filenamePrefix, filenameSuffix, maxDuration);
  }

  public static void createCloudStorageSubscription(
      String projectId,
      String topicId,
      String subscriptionId,
      String bucket,
      String filenamePrefix,
      String filenameSuffix,
      Duration maxDuration)
      throws IOException {
    try (SubscriptionAdminClient subscriptionAdminClient = SubscriptionAdminClient.create()) {

      ProjectTopicName topicName = ProjectTopicName.of(projectId, topicId);
      ProjectSubscriptionName subscriptionName =
          ProjectSubscriptionName.of(projectId, subscriptionId);

      CloudStorageConfig cloudStorageConfig =
          CloudStorageConfig.newBuilder()
              .setBucket(bucket)
              .setFilenamePrefix(filenamePrefix)
              .setFilenameSuffix(filenameSuffix)
              .setMaxDuration(maxDuration)
              .build();

      Subscription subscription =
          subscriptionAdminClient.createSubscription(
              Subscription.newBuilder()
                  .setName(subscriptionName.toString())
                  .setTopic(topicName.toString())
                  .setCloudStorageConfig(cloudStorageConfig)
                  .build());

      System.out.println("Created a CloudStorage subscription: " + subscription.getAllFields());
    }
  }
}

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicName = 'YOUR_TOPIC_NAME';
// const subscriptionName = 'YOUR_SUBSCRIPTION_NAME';
// const bucket = 'YOUR_BUCKET_ID';
// const filenamePrefix = 'YOUR_FILENAME_PREFIX';
// const filenameSuffix = 'YOUR_FILENAME_SUFFIX';
// const maxDuration = 60;

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createCloudStorageSubscription(
  topicName,
  subscriptionName,
  bucket,
  filenamePrefix,
  filenameSuffix,
  maxDuration,
) {
  const options = {
    cloudStorageConfig: {
      bucket,
      filenamePrefix,
      filenameSuffix,
      maxDuration: {
        seconds: maxDuration,
      },
    },
  };

  await pubSubClient
    .topic(topicName)
    .createSubscription(subscriptionName, options);

  console.log(
    `Created subscription ${subscriptionName} with a cloud storage configuration.`,
  );
}

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicName = 'YOUR_TOPIC_NAME';
// const subscriptionName = 'YOUR_SUBSCRIPTION_NAME';
// const bucket = 'YOUR_BUCKET_ID';
// const filenamePrefix = 'YOUR_FILENAME_PREFIX';
// const filenameSuffix = 'YOUR_FILENAME_SUFFIX';
// const maxDuration = 60;

// Imports the Google Cloud client library
import {CreateSubscriptionOptions, PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createCloudStorageSubscription(
  topicName: string,
  subscriptionName: string,
  bucket: string,
  filenamePrefix: string,
  filenameSuffix: string,
  maxDuration: number,
) {
  const options: CreateSubscriptionOptions = {
    cloudStorageConfig: {
      bucket,
      filenamePrefix,
      filenameSuffix,
      maxDuration: {
        seconds: maxDuration,
      },
    },
  };

  await pubSubClient
    .topic(topicName)
    .createSubscription(subscriptionName, options);

  console.log(
    `Created subscription ${subscriptionName} with a cloud storage configuration.`,
  );
}

use Google\Cloud\PubSub\PubSubClient;

/**
 * Creates a Pub/Sub GCS subscription.
 *
 * @param string $projectId  The Google project ID.
 * @param string $topicName  The Pub/Sub topic name.
 * @param string $subscriptionName  The Pub/Sub subscription name.
 * @param string $bucket The Cloud Storage bucket name without any prefix like "gs://".
 */
function create_cloud_storage_subscription($projectId, $topicName, $subscriptionName, $bucket)
{
    $pubsub = new PubSubClient([
        'projectId' => $projectId,
    ]);
    $topic = $pubsub->topic($topicName);
    $subscription = $topic->subscription($subscriptionName);
    $config = ['bucket' => $bucket];
    $subscription->create([
        'cloudStorageConfig' => $config
    ]);

    printf('Subscription created: %s' . PHP_EOL, $subscription->name());
}

from google.cloud import pubsub_v1
from google.protobuf import duration_pb2

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# subscription_id = "your-subscription-id"
# bucket = "my-bucket"

filename_prefix = "log_events_"
filename_suffix = ".avro"
# Either CloudStorageConfig.AvroConfig or CloudStorageConfig.TextConfig
# defaults to TextConfig
avro_config = pubsub_v1.types.CloudStorageConfig.AvroConfig(write_metadata=True)

publisher = pubsub_v1.PublisherClient()
subscriber = pubsub_v1.SubscriberClient()
topic_path = publisher.topic_path(project_id, topic_id)
subscription_path = subscriber.subscription_path(project_id, subscription_id)
max_duration = duration_pb2.Duration()
max_duration.FromSeconds(300)

cloudstorage_config = pubsub_v1.types.CloudStorageConfig(
    bucket=bucket,
    filename_prefix=filename_prefix,
    filename_suffix=filename_suffix,
    avro_config=avro_config,
    # Min 1 minutes, max 10 minutes
    max_duration=max_duration,
    # Min 1 KB, max 10 GiB
    max_bytes=10000000,
)

# Wrap the subscriber in a 'with' block to automatically call close() to
# close the underlying gRPC channel when done.
with subscriber:
    subscription = subscriber.create_subscription(
        request={
            "name": subscription_path,
            "topic": topic_path,
            "cloud_storage_config": cloudstorage_config,
        }
    )

print(f"CloudStorage subscription created: {subscription}.")
print(f"Bucket for subscription is: {bucket}")
print(f"Prefix is: {filename_prefix}")
print(f"Suffix is: {filename_suffix}")

Surveiller un abonnement Cloud Storage

Cloud Monitoring fournit un certain nombre de métriques pour surveiller les abonnements.

Pour obtenir la liste de toutes les métriques disponibles liées à Pub/Sub et leurs descriptions, consultez la documentation de surveillance de Pub/Sub.

Vous pouvez également surveiller les abonnements à partir de Pub/Sub.

Étapes suivantes

• Résolvez les problèmes liés à un abonnement Cloud Storage.

• En savoir plus sur Cloud Storage

• Consultez les tarifs de Pub/Sub, y compris l'abonnement Cloud Storage.