Cette page explique comment recevoir et accuser réception des messages à l'aide de la fonctionnalité "exactement une fois" de Pub/Sub, qui vous permet de suivre et d'empêcher le traitement en double des messages. Lorsque la fonctionnalité est activée, Pub/Sub fournit la sémantique suivante :
Les abonnés peuvent déterminer si les accusés de réception des messages ont été envoyés.
Aucune nouvelle distribution n'a lieu une fois le message confirmé.
Aucune nouvelle tentative de distribution n'est effectuée tant qu'un message est en attente. Un message est considéré comme en attente jusqu'à l'expiration du délai d'accusé de réception ou jusqu'à ce qu'il soit confirmé.
En cas de plusieurs distributions valides, en raison de l'expiration du délai de confirmation ou d'un accusé de réception négatif initié par le client, seul le dernier ID d'accusé de réception peut être utilisé pour confirmer la réception du message. Toutes les demandes avec un ID de confirmation précédent échouent.
Lorsque l'option "exactement une fois" est activée, les abonnés peuvent s'assurer que les messages sont traités une seule fois en suivant ces consignes :
Confirmer les messages dans le délai de confirmation.
Conservez les informations sur l'état du traitement d'un message jusqu'à ce qu'il soit correctement confirmé.
Utilisez les informations sur la progression du traitement d'un message pour éviter les doublons en cas d'échec de l'accusé de réception.
Seul le type d'abonnement pull est compatible avec la distribution "exactement une fois", y compris les abonnés qui utilisent l'API StreamingPull. La distribution push et les abonnements aux exportations ne sont pas compatibles avec la distribution de type "exactement une fois".
Pub/Sub est compatible avec la distribution de type "exactement une fois" dans une région cloud, basée sur un ID de message unique défini par Pub/Sub.
Versions recommandées des bibliothèques clientes
- Pour des performances optimales, utilisez la dernière version de la bibliothèque cliente : Python v2.13.6 ou version ultérieure, Java v1.139.0 ou version ultérieure, PHP v1.39.0 ou version ultérieure, C# v3.2.0 ou version ultérieure, C++ v2.1.0, Go v1.25.1 ou version ultérieure, Node v3.2.0 ou version ultérieure et Ruby v2.12.1 ou version ultérieure.
Nouvelle livraison ou doublon
Il est important de comprendre la différence entre les nouvelles distributions attendues et inattendues.
Une redistribution peut se produire en raison d'un accusé de réception négatif d'un message initié par le client ou lorsque le client ne prolonge pas le délai d'accusé de réception du message avant son expiration. Les nouvelles livraisons sont considérées comme valides et le système fonctionne comme prévu.
Pour résoudre les problèmes de redélivrance, consultez Gérer les doublons.
Un message est considéré comme un doublon lorsqu'il est renvoyé après un accusé de réception ou avant l'expiration du délai d'accusé de réception.
Un message rediffusé conserve le même ID de message entre les tentatives de rediffusion.
Les abonnements pour lesquels la distribution de type "exactement une fois" est activée ne reçoivent pas de distributions en double.
Compatibilité avec la diffusion de type "exactement une fois" dans les bibliothèques clientes
Les bibliothèques clientes compatibles disposent d'une interface pour l'accusé de réception avec réponse (exemple : Go). Vous pouvez utiliser cette interface pour vérifier si la demande d'accusé de réception a abouti. Si la demande d'accusé de réception aboutit, les clients sont assurés de ne pas recevoir de nouvelle livraison. Si la demande d'accusé de réception échoue, les clients peuvent s'attendre à une nouvelle livraison.
Les clients peuvent également utiliser les bibliothèques clientes compatibles sans l'interface d'accusé de réception. Toutefois, dans ce cas, les échecs d'accusé de réception peuvent entraîner une nouvelle distribution silencieuse des messages.
Les bibliothèques clientes compatibles disposent d'interfaces permettant de définir la durée minimale de prolongation du bail (exemple : Go). Vous devez définir une valeur élevée pour la durée minimale de prolongation du bail afin d'éviter toute expiration d'accusé de réception lié au réseau. La valeur maximale est définie sur 600 secondes.
Si vous utilisez la bibliothèque cliente Java et que vous initialisez votre abonné avec un canal gRPC personnalisé à l'aide de la méthode
setChannelProvider()
, nous vous recommandons également de définirmaxInboundMetadataSize
sur au moins 1 Mo lors de la création de votreTransportChannelProvider
. Pour cette configuration, vous pouvez utiliser la méthodeInstantiatingGrpcChannelProvider.Builder.setMaxInboundMetadataSize()
ouManagedChannelBuilder.maxInboundMetadataSize()
.
Les valeurs et la plage par défaut des variables liées à la diffusion "une seule fois", ainsi que les noms des variables, peuvent varier d'une bibliothèque cliente à l'autre. Par exemple, dans la bibliothèque cliente Java, les variables suivantes contrôlent la diffusion exacte.
Variable | Description | Valeur |
---|---|---|
setEnableExactlyOnceDelivery |
Active ou désactive la distribution de type "exactement une fois". | true ou false (false par défaut) |
minDurationPerAckExtension |
Durée minimale en secondes à utiliser pour prolonger le délai de confirmation de modification. | Plage : de 0 à 600. Valeur par défaut : aucune. |
maxDurationPerAckExtension |
Délai maximal en secondes à utiliser pour prolonger le délai de confirmation de la modification. | Plage : de 0 à 600. Valeur par défaut : aucune. |
Dans le cas d'une distribution de type "exactement une fois", la requête modifyAckDeadline
ou acknowledgment
envoyée à Pub/Sub échoue lorsque l'ID d'accusé de réception a déjà expiré. Dans ce cas, le service considère que l'ID d'accusé de réception expiré n'est pas valide, car une diffusion plus récente est peut-être déjà en cours. Cela est volontaire pour la diffusion "exactement une fois". Les requêtes acknowledgment
et ModifyAckDeadline
renvoient une réponse INVALID_ARGUMENT
. Lorsque la diffusion de type "exactement une fois" est désactivée, ces requêtes renvoient OK
en cas d'ID d'accusé de réception expirés.
Pour vous assurer que les requêtes acknowledgment
et ModifyAckDeadline
disposent d'ID d'accusé de réception valides, envisagez de définir la valeur de minDurationPerAckExtension
sur un nombre élevé.
Points à prendre en compte concernant les régions
La garantie de distribution de type "exactement une fois" ne s'applique que lorsque les abonnés se connectent au service dans la même région. Si votre application d'abonné est répartie sur plusieurs régions, cela peut entraîner la diffusion de messages en double, même lorsque la diffusion de type "exactement une fois" est activée. Les éditeurs peuvent envoyer des messages à n'importe quelle région, et la garantie d'envoi unique est toujours respectée.
Lorsque vous exécutez votre application dans Google Cloud, elle se connecte par défaut au point de terminaison Pub/Sub de la même région. Par conséquent, l'exécution de votre application dans une seule région au sein de Google Cloudgarantit généralement que vous interagissez avec une seule région.
Lorsque vous exécutez votre application d'abonné en dehors de Google Cloudou dans plusieurs régions, vous pouvez vous assurer de vous connecter à une seule région en utilisant un point de terminaison géographique lorsque vous configurez votre client Pub/Sub. Tous les points de terminaison d'emplacement pour Pub/Sub pointent vers des régions uniques. Pour en savoir plus sur les points de terminaison géographiques, consultez Points de terminaison Pub/Sub. Pour obtenir la liste de tous les points de terminaison géographiques pour Pub/Sub, consultez Liste des points de terminaison géographiques.
Créer des abonnements avec la distribution de type "exactement une fois"
Vous pouvez créer un abonnement avec une diffusion exacte à l'aide de la console Google Cloud , de Google Cloud CLI, d'une bibliothèque cliente ou de l'API Pub/Sub.
Abonnement pull
Console
Pour créer un abonnement pull avec une diffusion "une seule fois", procédez comme suit :
Dans la console Google Cloud , accédez à la page Abonnements.
Cliquez sur Créer un abonnement.
Saisissez l'ID de l'abonnement.
Choisissez ou créez un sujet dans le menu déroulant.
L'abonnement reçoit les messages du sujet.
Dans la section Distribution de type "exactement une fois", sélectionnez Activer la distribution de type "exactement une fois".
Cliquez sur Créer.
gcloud
Pour créer un abonnement pull avec une diffusion unique, utilisez la commande gcloud pubsub subscriptions create
avec l'option --enable-exactly-once-delivery
:
gcloud pubsub subscriptions create SUBSCRIPTION_ID \ --topic=TOPIC_ID \ --enable-exactly-once-delivery
Remplacez les éléments suivants :
- SUBSCRIPTION_ID : ID de l'abonnement à créer
- TOPIC_ID : ID du sujet à associer à l'abonnement
REST
Pour créer un abonnement avec une distribution "une fois et une seule", utilisez la méthode projects.subscriptions.create
.
PUT https://pubsub.googleapis.com/v1/projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID Authorization: Bearer $(gcloud auth print-access-token)
Remplacez les éléments suivants :
- PROJECT_ID : ID du projet dans lequel créer l'abonnement
- SUBSCRIPTION_ID : ID de l'abonnement à créer
Pour créer un abonnement pull avec une distribution "une fois exactement", spécifiez-le dans le corps de la requête :
{ "topic": "projects/PROJECT_ID/topics/TOPIC_ID", "enableExactlyOnceDelivery": true, }
Remplacez les éléments suivants :
- PROJECT_ID : ID du projet contenant le sujet.
- TOPIC_ID : ID du sujet à associer à l'abonnement
C++
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage C++ qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour C++.
C#
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage C# qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour C#.
Go
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage Go qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Go.
Java
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage Java qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Java.
Python
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage Python qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Python.
Node.js
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage Node.js qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Node.js.
Node.js
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage Node.js qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Node.js.
Ruby
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage Ruby qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Ruby.
PHP
Avant d'essayer cet exemple, suivez les instructions d'installation dans le langage PHP qui se trouvent sur la page Démarrage rapide : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour PHP.
S'abonner avec la distribution de messages de type "exactement une fois"
Voici quelques exemples de code pour s'abonner avec une diffusion exactement une fois à l'aide de la bibliothèque cliente.
Abonnement pull
Go
Avant d'essayer cet exemple, suivez les instructions de configuration pour Go du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Go.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Avant d'essayer cet exemple, suivez les instructions de configuration pour Java du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Java.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Avant d'essayer cet exemple, suivez les instructions de configuration pour Node.js du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Node.js.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Avant d'essayer cet exemple, suivez les instructions de configuration pour PHP du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour PHP.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Avant d'essayer cet exemple, suivez les instructions de configuration pour Python du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Python.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Ruby
Avant d'essayer cet exemple, suivez les instructions de configuration pour Ruby du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Ruby.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
C++
Avant d'essayer cet exemple, suivez les instructions de configuration pour C++ du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour C++.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
C#
Avant d'essayer cet exemple, suivez les instructions de configuration pour C# du guide de démarrage rapide de Pub/Sub : Utiliser les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour C#.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js (TypeScript)
Avant d'essayer cet exemple, suivez les instructions de configuration de Node.js décrites dans le Guide de démarrage rapide de Pub/Sub : utiliser des bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence sur l'API Pub/Sub pour Node.js.
Pour vous authentifier auprès de Pub/Sub, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Surveiller les abonnements avec diffusion de type "exactement une fois"
La métrique subscription/exactly_once_warning_count
enregistre le nombre d'événements pouvant entraîner une nouvelle distribution (valides ou en double). Cette métrique comptabilise le nombre de fois où Pub/Sub n'a pas réussi à traiter les requêtes associées aux ID d'accusé de réception (requête ModifyAckDeadline
ou acknowledgment
). Les raisons de l'échec peuvent être liées au serveur ou au client. Par exemple, si la couche de persistance utilisée pour conserver les informations de remise "exactement une fois" n'est pas disponible, il s'agit d'un événement côté serveur. Si le client tente d'accuser réception d'un message avec un ID d'accusé de réception non valide, il s'agit d'un événement basé sur le client.
Comprendre la métrique
subscription/exactly_once_warning_count
enregistre les événements qui peuvent ou non entraîner des nouvelles livraisons réelles et peut être bruyant en fonction du comportement du client. Par exemple, les requêtes acknowledgment
ou ModifyAckDeadline
répétées avec des ID d'accusé de réception non valides incrémentent la métrique de manière répétée.
Les métriques suivantes sont également utiles pour comprendre le comportement du client :
La métrique
subscription/expired_ack_deadlines_count
indique le nombre d'ID d'accusé de réception expirés. L'expiration des ID d'accusé de réception peut entraîner des échecs pour les requêtesModifyAckDeadline
etacknowledgment
.La métrique
service.serviceruntime.googleapis.com/api/request_count
peut être utilisée pour enregistrer les échecs des requêtesModifyAckDeadline
ouacknowledgment
dans les cas où les requêtes atteignent Google Cloud , mais pas Pub/Sub. Cette métrique ne capture pas certaines défaillances, par exemple lorsque les clients sont déconnectés de Google Cloud.
Dans la plupart des cas d'événements d'échec pouvant être réessayés, les bibliothèques clientes compatibles relancent automatiquement la requête.
Quotas
Les abonnements avec distribution de type "exactement une fois" sont soumis à des exigences de quota supplémentaires. Ces quotas sont appliqués aux éléments suivants :
- Nombre de messages consommés à partir d'abonnements avec distribution de type "exactement une fois" activée par région.
- Nombre de messages pour lesquels l'accusé de réception a été envoyé ou dont le délai a été prolongé lorsque des abonnements avec distribution de type "exactement une fois" sont activés par région.
Pour en savoir plus sur ces quotas, consultez le tableau de la section Quotas.
Distribution de type "exactement une fois" et abonnements ordonnés
Pub/Sub est compatible avec la distribution de type "exactement une fois" avec la distribution ordonnée.
Lorsque vous utilisez le tri avec la distribution de type "exactement une fois", Pub/Sub s'attend à ce que les accusés de réception soient dans l'ordre. Si les accusés de réception sont dans le désordre, le service échoue les requêtes avec des erreurs temporaires. Si le délai de confirmation expire avant la réception d'un accusé de réception dans l'ordre pour la remise, le client recevra une nouvelle remise du message. Par conséquent, lorsque vous utilisez le tri avec la distribution exactement une fois, le débit du client est limité à un ordre de grandeur de milliers de messages par seconde.
Distribution de type "exactement une fois" et abonnements push
Pub/Sub n'est compatible avec la distribution de type "exactement une fois" qu'avec les abonnements pull.
Les clients qui consomment des messages provenant d'abonnements push accusent réception des messages en répondant aux requêtes push par une réponse de réussite. Toutefois, les clients ne savent pas si l'abonnement Pub/Sub a reçu la réponse et l'a traitée. Cela diffère des abonnements par extraction, où les demandes d'accusé de réception sont initiées par les clients et l'abonnement Pub/Sub répond si la demande a été traitée avec succès. Pour cette raison, la sémantique de distribution de type "exactement une fois" ne s'aligne pas bien sur les abonnements push.
Bon à savoir
Si le délai d'accusé de réception n'est pas spécifié lors de la création de l'abonnement, les abonnements pour lesquels la diffusion de type "exactement une fois" est activée auront un délai d'accusé de réception par défaut de 60 secondes.
Des délais d'accusé de réception par défaut plus longs permettent d'éviter les nouvelles distributions causées par des événements réseau. Les bibliothèques clientes compatibles n'utilisent pas le délai de confirmation par défaut des abonnements.
Les abonnements avec distribution de type "exactement une fois" présentent une latence de publication vers l'abonnement beaucoup plus élevée que les abonnements standards.
Si vous avez besoin d'un débit élevé, vos clients de type "exactement une fois" doivent également utiliser l'extraction en flux continu.
Un abonnement peut recevoir plusieurs copies du même message en raison de doublons côté publication, même si la diffusion de type "exactement une fois" est activée. Les doublons côté publication peuvent être dus à plusieurs nouvelles tentatives de publication uniques par le client de publication ou le service Pub/Sub. Plusieurs publications uniques par le client de publication, lors de nouvelles tentatives, entraînent des nouvelles remises avec des ID de message différents. Plusieurs publications uniques par le service Pub/Sub, en réponse à une demande de publication d'un client, entraînent des redistributions avec les mêmes ID de message.
Vous pouvez réessayer en cas d'échec dans
subscription/exactly_once_warning_count
. Les bibliothèques clientes compatibles réessaient automatiquement. Toutefois, les échecs liés à des ID d'accusé de réception non valides ne peuvent pas être relancés.