Ordenar mensajes

El orden de los mensajes es una función de Pub/Sub que te permite recibir mensajes en tus clientes suscriptores en el orden en que los publicaron los clientes publicadores.

Por ejemplo, imagina que un cliente publicador en una región publica mensajes 1, 2, y 3 en orden. Con el ordenamiento de los mensajes, el cliente suscriptor recibe el los mensajes publicados en el mismo orden. Para que se entregue en orden, el publicador el cliente debe publicar los mensajes en la misma región.

El orden de los mensajes es una función útil para situaciones como la captura de cambios en la base de datos, el seguimiento de sesiones de los usuarios y las aplicaciones de transmisión en las que es importante preservar la cronología de los eventos.

En esta página, se explica el concepto de ordenamiento de mensajes y cómo configurar tus clientes de suscriptores para que reciban mensajes en orden. Para configurar tu publicador, sigue estos pasos: para ordenar los mensajes, consulta Usa claves de ordenamiento para publicar un mensaje.

Descripción general del ordenamiento de mensajes

El orden en Pub/Sub se determina según lo siguiente:

• Clave de orden: Es una cadena que se usa en el Son los metadatos del mensaje de Pub/Sub y representa la entidad para la cual los mensajes deben estar ordenados. La clave de ordenamiento puede tener hasta 1 KB de longitud. Para recibir un conjunto de mensajes ordenados en una región, debes publicar todos los mensajes con la misma clave de ordenamiento en la misma región. Algunos ejemplos de orden las claves son los IDs de cliente y la clave primaria de una fila en una base de datos.

  La capacidad de procesamiento de publicación en cada clave de ordenamiento se limita a 1 MBps. La productividad de todas las claves de orden en un tema se limita a la cuota disponible en una región de publicación. Este límite se puede aumentar a muchas unidades de GBps.

  Una clave de ordenamiento no es equivalente a una partición en una partición sistema de mensajería, ya que se espera que las claves de orden tengan un cardinalidad más que las particiones.

• Habilitar el ordenamiento de los mensajes: Este es un parámetro de configuración de la suscripción. Cuando un elemento suscripción tiene habilitado el ordenamiento de los mensajes, los clientes suscriptores reciben mensajes publicados en la misma región con la misma clave de ordenamiento en la en el que el servicio los recibió. Debes habilitar este parámetro de configuración. en la suscripción.

  Supongamos que tienes dos suscripciones, A y B, vinculadas al mismo tema T. La suscripción A está configurada con el ordenamiento de mensajes habilitado y la suscripción B está configurada sin el ordenamiento de mensajes habilitado. En esta arquitectura, tanto las suscripciones A y B reciben el mismo conjunto de mensajes del tema T. Si publicas mensajes con claves de ordenamiento en la misma región, la suscripción A recibe los mensajes en el orden en que se publicaron. Mientras que la suscripción B recibe los mensajes sin ningún orden esperado.

En general, si tu solución requiere que los clientes publicadores envíen solicitudes de datos mensajes desordenados, crear temas separados, uno para mensajes ordenados y la otros para mensajes desordenados.

Consideraciones al usar mensajes ordenados

La siguiente lista contiene información importante sobre el comportamiento de mensajes ordenados en Pub/Sub:

• Ordenamiento dentro de la clave: Los mensajes publicados con la misma clave de ordenamiento se muestran se espera que se reciban en orden. Supón que para ordenar la clave A, publicar los mensajes 1, 2 y 3. Con el orden habilitado, se espera que 1 se entregue antes que 2, y que 2 se entregue antes que 3.

• Orden cruzado: Los mensajes publicados con diferentes claves de orden se que no se reciban en orden. Supongamos que tienes las claves de orden A y B. Para la clave de ordenamiento A, los mensajes 1 y 2 se publican en orden. Para pedidos clave B, los mensajes 3 y 4 se publican en orden. Sin embargo, el mensaje 1 podría llegar antes o después del mensaje 4.

• Reenvío de mensajes: Pub/Sub entrega cada mensaje. al menos una vez, así que Es posible que el servicio de Pub/Sub vuelva a entregar mensajes. Reintentos de una activa el reintento de entrega de todos los mensajes posteriores para esa clave, incluso las reconocidas. Supongamos que un cliente suscriptor recibe los mensajes 1, 2, y 3 para una clave de ordenamiento específica. Si se vuelve a entregar el mensaje 2 (porque venció el plazo de confirmación o no persistió la confirmación del mejor esfuerzo en Pub/Sub), también se volverá a entregar el mensaje 3. Si el orden de los mensajes y un tema de mensajes no entregados están habilitados en una suscripción, es posible que este comportamiento no sea así, ya que Pub/Sub reenvía mensajes a temas de mensajes no entregados en base del mejor esfuerzo.

• Demoras en el acuse de recibo y temas de mensajes no entregados: Mensajes no confirmados para una clave de ordenamiento dada puede retrasar la entrega de mensajes y otras claves de ordenamiento, en especial durante los reinicios del servidor o cambios en el tráfico. Para mantener el orden en estos eventos, garantiza el reconocimiento oportuno de todos mensajes nuevos. Si no es posible obtener un reconocimiento oportuno, considera usar una de tema de mensajes no entregados para evitar la retención indefinida de mensajes. Ten en cuenta que es posible que el orden no se conserve cuando los mensajes se escriben en un tema de mensajes no entregados.

• Afinidad de mensajes (clientes de streamingPull): Los mensajes para la misma clave son los siguientes: generalmente se entregan al mismo cliente suscriptor de streamingPull. La afinidad es se espera cuando hay mensajes pendientes de una clave de orden para una dirección cliente suscriptor. Si no hay mensajes pendientes, la afinidad podría para el balanceo de cargas o las desconexiones del cliente.

  Para garantizar un procesamiento sin problemas, incluso con posibles cambios de afinidad, es fundamental para diseñar tu aplicación streamingPull de forma que pueda controlar mensajes en cualquier cliente para una clave de ordenamiento determinada.

• Integración en Dataflow: No habilites el ordenamiento de mensajes para cuando configuras Dataflow con Pub/Sub Dataflow tiene su propio mecanismo para el orden total de los mensajes, lo que garantiza un orden cronológico en todos los mensajes, como es parte de las operaciones de renderización en ventanas. Este método de orden es diferente del Es el enfoque basado en claves de ordenamiento de Pub/Sub. Usa claves de ordenamiento con Dataflow puede reducir el rendimiento de la canalización.

• Ajuste de escala automático: La entrega ordenada de Pub/Sub escala a miles de millones de claves de ordenamiento. Una mayor cantidad de claves de ordenamiento permite una entrega más simultánea a los suscriptores, ya que el ordenamiento se aplica a todos los mensajes con la misma clave de ordenamiento.

La entrega de pedidos tiene algunas desventajas. En comparación con los datos sin ordenar de la publicación, la entrega de pedidos podría disminuir ligeramente la disponibilidad aumentar la latencia de entrega de mensajes de extremo a extremo. En el caso de la entrega ordenada, la conmutación por error requiere coordinación para garantizar que los mensajes se escriban y lean en el orden correcto.

Para obtener más información sobre cómo usar el ordenamiento de mensajes, consulta lo siguiente temas de las prácticas recomendadas:

• Prácticas recomendadas para los mensajes ordenados en la publicación

• Prácticas recomendadas para los mensajes ordenados en las suscripciones

Comportamiento del cliente suscriptor para el ordenamiento de los mensajes

Los clientes suscriptores reciben los mensajes en el orden en que se publicaron en un región específica. Pub/Sub admite diferentes formas de recibir como clientes suscriptores conectados para extraer y enviar suscripciones. Las bibliotecas cliente usan streamingPull (excepto en PHP).

Para obtener más información sobre estos tipos de suscripción, consulta Cómo elegir un tipo de suscripción.

En las siguientes secciones, se analiza qué significa recibir los mensajes en orden para cada tipo de cliente suscriptor.

Clientes suscriptores de StreamingPull

Cuando uses las bibliotecas cliente con streamingPull, debes especificar un usuario Es la devolución de llamada que se ejecuta cada vez que un cliente suscriptor recibe un mensaje. Con las bibliotecas cliente, para cualquier clave de ordenamiento, se ejecuta la devolución de llamada los mensajes en el orden correcto. Si los mensajes son dentro de esa devolución de llamada, se producen todos los cálculos en un mensaje en orden. Sin embargo, si la devolución de llamada del usuario programa otras tareas asíncronas en los mensajes, el cliente suscriptor debe asegurarse de que el trabajo asíncrono se hace en orden. Una opción es agregar mensajes a una cola de trabajo local que se procesa en orden.

Clientes suscriptores de extracción

Para los clientes suscriptores conectados a suscripciones de extracción, Pub/Sub el ordenamiento de mensajes admite lo siguiente:

• Todos los mensajes para una clave de pedido en PullResponse están en el orden correcto en la lista.

• Solo puede quedar un lote de mensajes pendiente para una clave de orden. por vez.

El requisito de que solo un lote de mensajes pueda estar pendiente por cada tiempo necesario para mantener la entrega ordenada, ya que Pub/Sub servicio no puede garantizar el éxito o la latencia de la respuesta que envía para la solicitud de extracción de un suscriptor.

Clientes suscriptores de envío

Las restricciones sobre el envío son aún más estrictas que las sobre la extracción. Para una suscripción de envío, Pub/Sub solo admite un para cada clave de ordenamiento a la vez. Cada mensaje se envía a un de envío de extremo como una solicitud independiente. Por lo tanto, enviar las solicitudes en paralelo tendría el mismo problema que entregar varios lotes de mensajes para la misma clave de ordenamiento para extraer suscriptores de forma simultánea. Es posible que las suscripciones de envío no sean una buena opción para los temas en los que los mensajes publicados con la misma clave de ordenamiento o en los que la latencia extremadamente importante.

Exporta clientes suscriptores

Las exportaciones de suscripciones admiten mensajes ordenados. Para BigQuery suscripciones, los mensajes con la misma clave de ordenamiento se escriben en su de BigQuery en orden. En el caso de las suscripciones a Cloud Storage, es posible que no todos los mensajes con la misma clave de ordenamiento se escriban en el mismo archivo. Cuando se encuentran en el mismo archivo, los mensajes para una clave de ordenamiento están en orden. Cuando se distribuyen en varios archivos, los mensajes posteriores de una clave de orden pueden aparecer en un archivo con un nombre que tiene una marca de tiempo anterior a la marca de tiempo del nombre del archivo con los mensajes anteriores.

Habilita el ordenamiento de mensajes

Para recibir los mensajes en orden, configura la propiedad de ordenamiento de mensajes de la suscripción de la que recibes mensajes. Recibir mensajes en orden puede aumentar la latencia. No puedes cambiar la propiedad de ordenamiento de mensajes después de crear una suscripción.

Puedes configurar la propiedad de ordenamiento de mensajes cuando creas una suscripción con la consola de Google Cloud, Google Cloud CLI o la API de Pub/Sub.

gcloud pubsub subscriptions create SUBSCRIPTION_ID \
  --enable-message-ordering

Created subscription [SUBSCRIPTION_ID].

PUT https://pubsub.googleapis.com/v1/projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID
Authorization: Bearer $(gcloud auth application-default print-access-token)

{
  "topic": TOPIC_ID,
  "enableMessageOrdering": true,
}

{
  "name": projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID,
  "topic": projects/PROJECT_ID/topics/TOPIC_ID,
  "enableMessageOrdering": true,
}

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::SubscriptionAdminClient client,
   std::string const& project_id, std::string const& topic_id,
   std::string const& subscription_id) {
  google::pubsub::v1::Subscription request;
  request.set_name(
      pubsub::Subscription(project_id, subscription_id).FullName());
  request.set_topic(pubsub::Topic(project_id, topic_id).FullName());
  request.set_enable_message_ordering(true);
  auto sub = client.CreateSubscription(request);
  if (sub.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The subscription already exists\n";
    return;
  }
  if (!sub) throw std::move(sub).status();

  std::cout << "The subscription was successfully created: "
            << sub->DebugString() << "\n";
}

using Google.Cloud.PubSub.V1;
using Grpc.Core;

public class CreateSubscriptionWithOrderingSample
{
    public Subscription CreateSubscriptionWithOrdering(string projectId, string topicId, string subscriptionId)
    {
        SubscriberServiceApiClient subscriber = SubscriberServiceApiClient.Create();
        var topicName = TopicName.FromProjectTopic(projectId, topicId);
        var subscriptionName = SubscriptionName.FromProjectSubscription(projectId, subscriptionId);

        var subscriptionRequest = new Subscription
        {
            SubscriptionName = subscriptionName,
            TopicAsTopicName = topicName,
            EnableMessageOrdering = true
        };

        Subscription subscription = null;
        try
        {
            subscription = subscriber.CreateSubscription(subscriptionRequest);
        }
        catch (RpcException e) when (e.Status.StatusCode == StatusCode.AlreadyExists)
        {
            // Already exists.  That's fine.
        }
        return subscription;
    }
}

import (
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/pubsub"
)

func createWithOrdering(w io.Writer, projectID, subID string, topic *pubsub.Topic) error {
	// projectID := "my-project-id"
	// subID := "my-sub"
	// topic of type https://godoc.org/cloud.google.com/go/pubsub#Topic
	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	// Message ordering can only be set when creating a subscription.
	sub, err := client.CreateSubscription(ctx, subID, pubsub.SubscriptionConfig{
		Topic:                 topic,
		AckDeadline:           20 * time.Second,
		EnableMessageOrdering: true,
	})
	if err != nil {
		return fmt.Errorf("CreateSubscription: %w", err)
	}
	fmt.Fprintf(w, "Created subscription: %v\n", sub)
	return nil
}

import com.google.cloud.pubsub.v1.SubscriptionAdminClient;
import com.google.pubsub.v1.ProjectSubscriptionName;
import com.google.pubsub.v1.ProjectTopicName;
import com.google.pubsub.v1.Subscription;
import java.io.IOException;

public class CreateSubscriptionWithOrdering {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    String subscriptionId = "your-subscription-id";

    createSubscriptionWithOrderingExample(projectId, topicId, subscriptionId);
  }

  public static void createSubscriptionWithOrderingExample(
      String projectId, String topicId, String subscriptionId) throws IOException {
    try (SubscriptionAdminClient subscriptionAdminClient = SubscriptionAdminClient.create()) {

      ProjectTopicName topicName = ProjectTopicName.of(projectId, topicId);
      ProjectSubscriptionName subscriptionName =
          ProjectSubscriptionName.of(projectId, subscriptionId);

      Subscription subscription =
          subscriptionAdminClient.createSubscription(
              Subscription.newBuilder()
                  .setName(subscriptionName.toString())
                  .setTopic(topicName.toString())
                  // Set message ordering to true for ordered messages in the subscription.
                  .setEnableMessageOrdering(true)
                  .build());

      System.out.println("Created a subscription with ordering: " + subscription.getAllFields());
    }
  }
}

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createSubscriptionWithOrdering(
  topicNameOrId,
  subscriptionNameOrId
) {
  // Creates a new subscription
  await pubSubClient
    .topic(topicNameOrId)
    .createSubscription(subscriptionNameOrId, {
      enableMessageOrdering: true,
    });
  console.log(
    `Created subscription ${subscriptionNameOrId} with ordering enabled.`
  );
  console.log(
    'To process messages in order, remember to add an ordering key to your messages.'
  );
}

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createSubscriptionWithOrdering(
  topicNameOrId: string,
  subscriptionNameOrId: string
) {
  // Creates a new subscription
  await pubSubClient
    .topic(topicNameOrId)
    .createSubscription(subscriptionNameOrId, {
      enableMessageOrdering: true,
    });
  console.log(
    `Created subscription ${subscriptionNameOrId} with ordering enabled.`
  );
  console.log(
    'To process messages in order, remember to add an ordering key to your messages.'
  );
}

from google.cloud import pubsub_v1

# TODO(developer): Choose an existing topic.
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# subscription_id = "your-subscription-id"

publisher = pubsub_v1.PublisherClient()
subscriber = pubsub_v1.SubscriberClient()
topic_path = publisher.topic_path(project_id, topic_id)
subscription_path = subscriber.subscription_path(project_id, subscription_id)

with subscriber:
    subscription = subscriber.create_subscription(
        request={
            "name": subscription_path,
            "topic": topic_path,
            "enable_message_ordering": True,
        }
    )
    print(f"Created subscription with ordering: {subscription}")

# topic_id        = "your-topic-id"
# subscription_id = "your-subscription-id"

pubsub = Google::Cloud::Pubsub.new

topic        = pubsub.topic topic_id
subscription = topic.subscribe subscription_id,
                               message_ordering: true

puts "Pull subscription #{subscription_id} created with message ordering."

¿Qué sigue?

• Lee la entrada de blog sobre la publicación ordenada.

• Para seguir publicando mensajes en caso de errores que no se puedan reintentar, haz lo siguiente: Consulta Reintentar solicitudes con claves de ordenamiento.

• Supervisa tu suscripción.

• Lee acerca de cómo publicar mensajes con orden de claves.