Pub/Sub Lite ist ein kostengünstiger Echtzeit-Messaging-Dienst, der im Vergleich zu Pub/Sub eine geringere Zuverlässigkeit bietet. Pub/Sub Lite bietet zonale und regionale Themen für die Speicherung.
Pub/Sub Lite Spark-Connector unterstützt Pub/Sub Lite als Eingabequelle für Apache Spark Structured Streaming im standardmäßigen Mikro-Batch-Verarbeitungsmodus und im experimentellen Modus der kontinuierlichen Verarbeitung.
Pub/Sub Lite mit Dataproc verwenden
Java
Das Verzeichnis samples im Repository java-pubsublite-spark auf GitHub enthält ein Spark-Beispiel in Java, das Pub/Sub Lite mit Dataproc verwendet. Folgen Sie der Anleitung im Spark-Beispiel, um das Beispiel auszuführen.
- Klonen Sie zuerst das GitHub-Repository
java-pubsublite-spark.git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Der Connector ist im Maven Central Repository verfügbar.
Sie können den Befehl über die Option --packages herunterladen und bereitstellen, wenn Sie den Befehl spark-submit verwenden oder ihn über das Konfigurationsattribut spark.jars.packages festlegen.
Weitere Informationen
- In der Kurzanleitung „Pub/Sub Lite mit Apache Spark verwenden“ wird ein Python-Script in einem Dataproc-Cluster ausgeführt, um Daten von und nach Pub/Sub Lite zu lesen und zu schreiben.
- Wählen Sie hier die Version des Pub/Sub Lite-Spark-Connectors aus und laden Sie dann die JAR-Datei auf die verknüpfte Seite herunter.