Pub/Sub Lite è un servizio di messaggistica in tempo reale progettato per essere a basso costo e offre un'affidabilità inferiore rispetto a Pub/Sub. Pub/Sub Lite offre argomenti a livello di zona e di regione per l'archiviazione.
Il connettore Spark Pub/Sub Lite supporta Pub/Sub Lite come origine di input per Apache Spark Structured Streaming nelle modalità di elaborazione micro-batch predefinite e di elaborazione continua sperimentale.
Utilizzo di Pub/Sub Lite con Dataproc
Java
La directory samples nel repository java-pubsublite-spark su GitHub contiene un esempio di Spark in Java che utilizza Pub/Sub Lite con Dataproc. Per eseguire l'esempio, segui le istruzioni nell'esempio Spark.
- Per iniziare, clona il repository GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Il connettore è disponibile nel repository Maven Central.
Puoi scaricarlo e fornirlo tramite l'opzione --packages quando utilizzi il comando spark-submit o impostarlo tramite la proprietà di configurazione spark.jars.packages.
Per ulteriori informazioni
- Consulta Utilizzo di Pub/Sub Lite con Apache Spark, una guida rapida che esegue uno script Python su un cluster Dataproc per leggere e scrivere dati da e verso Pub/Sub Lite.
- Seleziona la versione del connettore Spark Pub/Sub Lite qui, quindi scarica il file JAR nella pagina collegata.