Ricezione di messaggi dalle sottoscrizioni Lite

Questa pagina spiega come ricevere messaggi dagli abbonamenti Lite. Puoi ricevere messaggi con la libreria client Pub/Sub Lite per Java.

Le sottoscrizioni Lite collegano gli argomenti Lite alle applicazioni dei sottoscrittori, che ricevono i messaggi dalle sottoscrizioni Lite. Gli abbonati ricevono tutti i messaggi inviati dalle applicazioni del publisher all'argomento Lite, inclusi i messaggi inviati dai publisher prima della creazione dell'abbonamento Lite.

Prima di ricevere messaggi da una sottoscrizione Lite, crea un argomento Lite, crea una sottoscrizione Lite all'argomento Lite e pubblica messaggi nell'argomento Lite.

Ricezione di messaggi

Per ricevere messaggi da un abbonamento Lite, richiedi i messaggi dall'abbonamento Lite. La libreria client si connette automaticamente alle partizioni nell'argomento Lite associato all'abbonamento Lite. Se viene eseguito il caricamento di più client sottoscrittore, i messaggi verranno distribuiti a tutti i client. Il numero di partizioni nell'argomento determina il numero massimo di client sottoscrittori che possono connettersi contemporaneamente a una sottoscrizione.

L'inizializzazione e l'inizio della ricezione dei messaggi da parte degli abbonati potrebbero richiedere fino a un minuto. Dopo l'inizializzazione, i messaggi vengono ricevuti con una latenza minima.

L'esempio seguente mostra come ricevere messaggi dagli abbonamenti Lite:

gcloud

Questo comando richiede Python 3.6 o versioni successive e l'installazione del pacchetto Python grpcio. Per gli utenti di MacOS, Linux e Cloud Shell, esegui:

sudo pip3 install grpcio
export CLOUDSDK_PYTHON_SITEPACKAGES=1

Per ricevere i messaggi, utilizza il comando gcloud pubsub lite-subscriptions subscribe:

gcloud pubsub lite-subscriptions subscribe SUBSCRIPTION_ID \
    --location=LITE_LOCATION \
    --auto-ack

Sostituisci quanto segue:

  • SUBSCRIPTION_ID: l'ID dell'abbonamento Lite
  • LITE_LOCATION: la posizione dell'abbonamento Lite

Vai

Prima di eseguire questo esempio, segui le istruzioni di configurazione di Go in Librerie client Pub/Sub Lite.


package main

import (
	"context"
	"flag"
	"fmt"
	"log"
	"sync/atomic"
	"time"

	"cloud.google.com/go/pubsub"
	"cloud.google.com/go/pubsublite/pscompat"
)

func main() {
	// NOTE: Set these flags for an existing Pub/Sub Lite subscription containing
	// published messages when running this sample.
	projectID := flag.String("project_id", "", "Cloud Project ID")
	zone := flag.String("zone", "", "Cloud Zone where the topic resides, e.g. us-central1-a")
	subscriptionID := flag.String("subscription_id", "", "Existing Pub/Sub Lite subscription")
	timeout := flag.Duration("timeout", 90*time.Second, "The duration to receive messages")
	flag.Parse()

	ctx := context.Background()
	subscriptionPath := fmt.Sprintf("projects/%s/locations/%s/subscriptions/%s", *projectID, *zone, *subscriptionID)

	// Configure flow control settings. These settings apply per partition.
	// The message stream is paused based on the maximum size or number of
	// messages that the subscriber has already received, whichever condition is
	// met first.
	settings := pscompat.ReceiveSettings{
		// 10 MiB. Must be greater than the allowed size of the largest message
		// (1 MiB).
		MaxOutstandingBytes: 10 * 1024 * 1024,
		// 1,000 outstanding messages. Must be > 0.
		MaxOutstandingMessages: 1000,
	}

	// Create the subscriber client.
	subscriber, err := pscompat.NewSubscriberClientWithSettings(ctx, subscriptionPath, settings)
	if err != nil {
		log.Fatalf("pscompat.NewSubscriberClientWithSettings error: %v", err)
	}

	// Listen for messages until the timeout expires.
	log.Printf("Listening to messages on %s for %v...\n", subscriptionPath, *timeout)
	cctx, cancel := context.WithTimeout(ctx, *timeout)
	defer cancel()
	var receiveCount int32

	// Receive blocks until the context is cancelled or an error occurs.
	if err := subscriber.Receive(cctx, func(ctx context.Context, msg *pubsub.Message) {
		// NOTE: May be called concurrently; synchronize access to shared memory.
		atomic.AddInt32(&receiveCount, 1)

		// Metadata decoded from the message ID contains the partition and offset.
		metadata, err := pscompat.ParseMessageMetadata(msg.ID)
		if err != nil {
			log.Fatalf("Failed to parse %q: %v", msg.ID, err)
		}

		fmt.Printf("Received (partition=%d, offset=%d): %s\n", metadata.Partition, metadata.Offset, string(msg.Data))
		msg.Ack()
	}); err != nil {
		log.Fatalf("SubscriberClient.Receive error: %v", err)
	}

	fmt.Printf("Received %d messages\n", receiveCount)
}

Java

Prima di eseguire questo esempio, segui le istruzioni di configurazione di Java riportate in Librerie client Pub/Sub Lite.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.pubsub.v1.AckReplyConsumer;
import com.google.cloud.pubsub.v1.MessageReceiver;
import com.google.cloud.pubsublite.CloudRegion;
import com.google.cloud.pubsublite.CloudRegionOrZone;
import com.google.cloud.pubsublite.CloudZone;
import com.google.cloud.pubsublite.MessageMetadata;
import com.google.cloud.pubsublite.ProjectNumber;
import com.google.cloud.pubsublite.SubscriptionName;
import com.google.cloud.pubsublite.SubscriptionPath;
import com.google.cloud.pubsublite.cloudpubsub.FlowControlSettings;
import com.google.cloud.pubsublite.cloudpubsub.MessageTransforms;
import com.google.cloud.pubsublite.cloudpubsub.Subscriber;
import com.google.cloud.pubsublite.cloudpubsub.SubscriberSettings;
import com.google.protobuf.Timestamp;
import com.google.pubsub.v1.PubsubMessage;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class SubscriberExample {

  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String cloudRegion = "your-cloud-region";
    char zoneId = 'b';
    // Choose an existing subscription for the subscribe example to work.
    String subscriptionId = "your-subscription-id";
    long projectNumber = Long.parseLong("123456789");
    // True if using a regional location. False if using a zonal location.
    // https://cloud.google.com/pubsub/lite/docs/topics
    boolean regional = false;

    subscriberExample(cloudRegion, zoneId, projectNumber, subscriptionId, regional);
  }

  public static void subscriberExample(
      String cloudRegion, char zoneId, long projectNumber, String subscriptionId, boolean regional)
      throws ApiException {

    CloudRegionOrZone location;
    if (regional) {
      location = CloudRegionOrZone.of(CloudRegion.of(cloudRegion));
    } else {
      location = CloudRegionOrZone.of(CloudZone.of(CloudRegion.of(cloudRegion), zoneId));
    }

    SubscriptionPath subscriptionPath =
        SubscriptionPath.newBuilder()
            .setLocation(location)
            .setProject(ProjectNumber.of(projectNumber))
            .setName(SubscriptionName.of(subscriptionId))
            .build();

    // The message stream is paused based on the maximum size or number of messages that the
    // subscriber has already received, whichever condition is met first.
    FlowControlSettings flowControlSettings =
        FlowControlSettings.builder()
            // 10 MiB. Must be greater than the allowed size of the largest message (1 MiB).
            .setBytesOutstanding(10 * 1024 * 1024L)
            // 1,000 outstanding messages. Must be >0.
            .setMessagesOutstanding(1000L)
            .build();

    MessageReceiver receiver =
        (PubsubMessage message, AckReplyConsumer consumer) -> {
          System.out.println("Id : " + MessageMetadata.decode(message.getMessageId()));
          System.out.println("Data : " + message.getData().toStringUtf8());
          System.out.println("Ordering key : " + message.getOrderingKey());
          System.out.println("Attributes : ");
          message
              .getAttributesMap()
              .forEach(
                  (key, value) -> {
                    if (key == MessageTransforms.PUBSUB_LITE_EVENT_TIME_TIMESTAMP_PROTO) {
                      Timestamp ts = MessageTransforms.decodeAttributeEventTime(value);
                      System.out.println(key + " = " + ts.toString());
                    } else {
                      System.out.println(key + " = " + value);
                    }
                  });

          // Acknowledge the message.
          consumer.ack();
        };

    SubscriberSettings subscriberSettings =
        SubscriberSettings.newBuilder()
            .setSubscriptionPath(subscriptionPath)
            .setReceiver(receiver)
            // Flow control settings are set at the partition level.
            .setPerPartitionFlowControlSettings(flowControlSettings)
            .build();

    Subscriber subscriber = Subscriber.create(subscriberSettings);

    // Start the subscriber. Upon successful starting, its state will become RUNNING.
    subscriber.startAsync().awaitRunning();

    System.out.println("Listening to messages on " + subscriptionPath.toString() + "...");

    try {
      System.out.println(subscriber.state());
      // Wait 90 seconds for the subscriber to reach TERMINATED state. If it encounters
      // unrecoverable errors before then, its state will change to FAILED and an
      // IllegalStateException will be thrown.
      subscriber.awaitTerminated(90, TimeUnit.SECONDS);
    } catch (TimeoutException t) {
      // Shut down the subscriber. This will change the state of the subscriber to TERMINATED.
      subscriber.stopAsync().awaitTerminated();
      System.out.println("Subscriber is shut down: " + subscriber.state());
    }
  }
}

Python

Prima di eseguire questo esempio, segui le istruzioni di configurazione di Python in Librerie client Pub/Sub Lite.

from concurrent.futures._base import TimeoutError
from google.pubsub_v1 import PubsubMessage
from google.cloud.pubsublite.cloudpubsub import SubscriberClient
from google.cloud.pubsublite.types import (
    CloudRegion,
    CloudZone,
    FlowControlSettings,
    MessageMetadata,
    SubscriptionPath,
)

# TODO(developer):
# project_number = 1122334455
# cloud_region = "us-central1"
# zone_id = "a"
# subscription_id = "your-subscription-id"
# timeout = 90
# regional = True

if regional:
    location = CloudRegion(cloud_region)
else:
    location = CloudZone(CloudRegion(cloud_region), zone_id)

subscription_path = SubscriptionPath(project_number, location, subscription_id)
# Configure when to pause the message stream for more incoming messages based on the
# maximum size or number of messages that a single-partition subscriber has received,
# whichever condition is met first.
per_partition_flow_control_settings = FlowControlSettings(
    # 1,000 outstanding messages. Must be >0.
    messages_outstanding=1000,
    # 10 MiB. Must be greater than the allowed size of the largest message (1 MiB).
    bytes_outstanding=10 * 1024 * 1024,
)

def callback(message: PubsubMessage):
    message_data = message.data.decode("utf-8")
    metadata = MessageMetadata.decode(message.message_id)
    print(
        f"Received {message_data} of ordering key {message.ordering_key} with id {metadata}."
    )
    message.ack()

# SubscriberClient() must be used in a `with` block or have __enter__() called before use.
with SubscriberClient() as subscriber_client:

    streaming_pull_future = subscriber_client.subscribe(
        subscription_path,
        callback=callback,
        per_partition_flow_control_settings=per_partition_flow_control_settings,
    )

    print(f"Listening for messages on {str(subscription_path)}...")

    try:
        streaming_pull_future.result(timeout=timeout)
    except TimeoutError or KeyboardInterrupt:
        streaming_pull_future.cancel()
        assert streaming_pull_future.done()

La libreria client stabilisce connessioni di streaming bidirezionali con ciascuna delle partizioni nell'argomento Lite.

  1. L'abbonato richiede connessioni alle partizioni.

  2. Il servizio Pub/Sub Lite consegna i messaggi all'abbonato.

Dopo aver elaborato il messaggio, l'abbonato deve riconoscerlo. La libreria client elabora e conferma i messaggi in modo asincrono in un callback. Per limitare il numero di messaggi non confermati che l'abbonato può memorizzare in memoria, configura le impostazioni di controllo del flusso.

Se più sottoscrittori ricevono messaggi dalla stessa sottoscrizione Lite, il servizio Pub/Sub Lite connette ogni sottoscrittore a una proporzione uguale di partizioni. Ad esempio, se due sottoscrittori utilizzano la stessa sottoscrizione Lite e questa è collegata a un argomento Lite con due partizioni, ogni sottoscrittore riceve i messaggi da una delle partizioni.

Confermare i messaggi

Per confermare un messaggio, invia un messaggio di conferma all'abbonamento Lite.

Vai

Per inviare un messaggio di conferma, utilizza il metodo Message.Ack().

Java

Per inviare un messaggio di conferma, utilizza il metodo AckReplyConsumer.ack().

Python

Per inviare un messaggio di conferma, utilizza il metodo Message.ack().

Gli abbonati devono confermare ogni messaggio. Gli abbonati ricevono prima il messaggio senza ACK meno recente, seguito da ogni messaggio successivo. Se un abbonato salta un messaggio, conferma i messaggi successivi e si ricollega, riceve il messaggio non confermato e ogni messaggio confermato successivo.

Le sottoscrizioni Lite non hanno una scadenza per la conferma di ricezione e il servizio Pub/Sub Lite non recapita i messaggi non confermati tramite una connessione di streaming aperta.

Utilizzo del controllo del flusso

Dopo che il servizio Pub/Sub Lite ha inviato i messaggi ai sottoscrittori, questi ultimi memorizzano in memoria i messaggi non confermati. Puoi limitare il numero di messaggi in sospeso che gli abbonati possono memorizzare in memoria utilizzando le impostazioni di controllo del flusso. Le impostazioni di controllo del flusso si applicano a ogni partizione da cui un abbonato riceve i messaggi.

Puoi configurare le seguenti impostazioni di controllo del flusso:

  • Dimensioni dei messaggi in attesa. La dimensione massima, in byte, dei messaggi in sospeso. La dimensione massima deve essere maggiore delle dimensioni del messaggio più grande.
  • Numero di messaggi. Il numero massimo di messaggi in sospeso.

Le dimensioni di un messaggio si trovano nel campo size_bytes. Puoi configurare le impostazioni di controllo flusso con la libreria client.

Vai

Per configurare le impostazioni di controllo del flusso, passa ReceiveSettings quando chiami pscompat.NewSubscriberClientWithSettings. In ReceiveSettings puoi impostare i seguenti parametri:

  • MaxOutstandingMessages

  • MaxOutstandingBytes

Per un esempio, consulta questo esempio di controllo del flusso.

Java

Per configurare le impostazioni di controllo flusso, utilizza i seguenti metodi nella classe FlowControlRequest.Builder:

Python

Per configurare le impostazioni di controllo flusso, imposta i seguenti parametri nella classe FlowControlSettings:

  • bytes_outstanding

  • messages_outstanding

Ad esempio, se il numero massimo di messaggi è 100 e l'abbonato si connette a 10 partizioni, non può ricevere più di 100 messaggi da nessuna delle 10 partizioni. Il numero totale di messaggi in sospeso potrebbe essere superiore a 100, ma l'abbonato non può archiviare più di 100 messaggi da ogni partizione.