Pub/Sub Lite est un service de messagerie en temps réel conçu pour un coût faible et offrant une fiabilité inférieure à celle de Pub/Sub. Pub/Sub Lite propose des sujets zonaux et régionaux pour le stockage.
Le connecteur Spark Pub/Sub Lite est compatible avec Pub/Sub Lite en tant que source d'entrée pour Apache Spark Structured Streaming dans les modes de traitement continu par micro-lot par défaut et expérimental.
Utiliser Pub/Sub Lite avec Dataproc
Java
Le répertoire samples du dépôt java-pubsublite-spark sur GitHub contient un exemple Spark en Java qui utilise Pub/Sub Lite avec Dataproc. Pour exécuter l'exemple, suivez les instructions de l'exemple Spark.
- Pour commencer, clonez le dépôt GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Le connecteur est disponible sur le dépôt central Maven.
Vous pouvez les télécharger et les fournir à l'aide de l'option --packages lorsque vous utilisez la commande spark-submit ou la définir via la propriété de configuration spark.jars.packages.
Pour en savoir plus
- Consultez Utiliser Pub/Sub Lite avec Apache Spark, un guide de démarrage rapide qui exécute un script Python sur un cluster Dataproc pour lire et écrire des données à partir de Pub/Sub Lite et vers celui-ci.
- Sélectionnez la version du connecteur Spark Pub/Sub Lite ici, puis téléchargez son fichier JAR sur la page liée.