Die Vorlage "Pub/Sub für Redis" ist eine Streamingpipeline, die Nachrichten aus einem Pub/Sub-Abo liest und die Nutzlast der Nachricht in Redis schreibt. Der häufigste Anwendungsfall dieser Vorlage ist das Exportieren von Logs in Redis Enterprise für eine erweiterte suchebasierte Loganalyse in Echtzeit.
- Vor dem Schreiben in Datadog können Sie eine benutzerdefinierte JavaScript-Funktion auf die Nachrichtennutzlast anwenden.
- Alle Nachrichten, bei denen Verarbeitungsfehler auftreten, werden zur weiteren Fehlerbehebung und erneuten Verarbeitung an ein Pub/Sub-Thema für nicht verarbeitete Datensätze weitergeleitet.
- Um die Sicherheit zu erhöhen, aktivieren Sie beim Einrichten Ihrer Datenbank-Endpunktverbindung eine SSL-Verbindung. Diese Vorlage unterstützt kein gegenseitiges TLS.
Pipelineanforderungen
- Das als Quelle dienende Pub/Sub-Abo muss vorhanden sein, bevor Sie die Pipeline ausführen.
- Das Pub/Sub-Thema für nicht verarbeitete Datensätze muss vorhanden sein, bevor die Pipeline ausgeführt wird.
- Auf den Redis-Datenbankendpunkt muss über das Dataflow-Worker-Subnetzwerk zugegriffen werden können.
Vorlagenparameter
Erforderliche Parameter
- inputSubscription: Das Pub/Sub-Abo, aus dem die Eingabe gelesen werden soll. Beispiel:
projects/<PROJECT_ID>/subscriptions/<SUBSCRIPTION_ID>
. - redisHost: Der Redis-Datenbankhost. Beispiel:
your.cloud.db.redislabs.com
. Die Standardeinstellung ist 127.0.0.1. - redisPort: Der Redis-Datenbankport. Beispiel:
12345
. Die Standardeinstellung ist 6379. - redisPassword: Das Passwort für die Redis-Datenbank. Die Standardeinstellung ist
empty
.
Optionale Parameter
- sslEnabled: Der SSL-Parameter der Redis-Datenbank. Die Standardeinstellung ist "false".
- redisSinkType: Die Redis-Senke. Unterstützte Werte sind
STRING_SINK, HASH_SINK, STREAMS_SINK, and LOGGING_SINK
. Beispiel:STRING_SINK
Die Standardeinstellung ist STRING_SINK. - connectionTimeout: Das Zeitlimit für die Redis-Verbindung in Millisekunden. Beispiel:
2000
. Die Standardeinstellung ist 2.000. - ttl: Die Ablaufzeit des Schlüssels in Sekunden. Der
ttl
-Standardwert fürHASH_SINK
ist -1, was bedeutet, dass er nie abläuft. - javascriptTextTransformGcsPath: Der Cloud Storage-URI der .js-Datei, in der die zu verwendende benutzerdefinierte JavaScript-Funktion (UDF) definiert wird. Beispiel:
gs://my-bucket/my-udfs/my_file.js
. - javascriptTextTransformFunctionName: Der Name der benutzerdefinierten JavaScript-Funktion (UDF), die verwendet werden soll. Wenn Ihre JavaScript-Funktion beispielsweise
myTransform(inJson) { /*...do stuff...*/ }
ist, lautet der FunktionsnamemyTransform
. Beispiele für JavaScript-UDFs finden Sie unter „UDF-Beispiele“ (https://github.com/GoogleCloudPlatform/DataflowTemplates#udf-examples). - javascriptTextTransformReloadIntervalMinutes: Gibt an, wie oft die UDF aktualisiert werden soll (in Minuten). Wenn der Wert größer als 0 ist, prüft Dataflow regelmäßig die UDF-Datei in Cloud Storage und lädt die UDF neu, wenn die Datei geändert wurde. Mit diesem Parameter können Sie die UDF aktualisieren, während die Pipeline ausgeführt wird, ohne den Job neu starten zu müssen. Wenn der Wert
0
ist, ist das Neuladen der UDF deaktiviert. Der Standardwert ist0
.
Benutzerdefinierte Funktion
Optional können Sie diese Vorlage erweitern, indem Sie eine benutzerdefinierte Funktion (UDF) schreiben. Die Vorlage ruft die UDF für jedes Eingabeelement auf. Nutzlasten von Elementen werden als JSON-Strings serialisiert. Weitere Informationen finden Sie unter Benutzerdefinierte Funktionen für Dataflow-Vorlagen erstellen.
Funktionsspezifikation
UDFs haben die folgende Spezifikation:
- Eingabe: JSON-String
- Ausgabe: Ein String oder ein String-JSON-Objekt
Führen Sie die Vorlage aus.
Console
- Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf. Zur Seite "Job aus Vorlage erstellen“
- Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
- Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist
us-central1
.Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.
- Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the Pub/Sub to Redis templateaus.
- Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
- Klicken Sie auf Job ausführen.
gcloud
Führen Sie die Vorlage in der Shell oder im Terminal aus:
gcloud dataflow flex-template run JOB_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_PubSub_to_Redis \ --project=PROJECT_ID \ --region=REGION_NAME \ --parameters \ inputSubscription=INPUT_SUBSCRIPTION,\ redisHost=REDIS_HOST,\ redisPort=REDIS_PORT,\ redisPassword=REDIS_PASSWORD,\
Ersetzen Sie dabei Folgendes:
JOB_NAME
: ein eindeutiger Jobname Ihrer WahlVERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
REGION_NAME
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
INPUT_SUBSCRIPTION
: das Pub/Sub-EingabeaboREDIS_HOST
: der Redis-DB-HostREDIS_PORT
: der Redis-DB-PortREDIS_PASSWORD
: das Redis-DB-Passwort
API
Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launchParameter": { "jobName": "JOB_NAME", "parameters": { "inputSubscription": "INPUT_SUBSCRIPTION", "redisHost": "REDIS_HOST", "redisPort": "REDIS_PORT", "redisPassword": "REDIS_PASSWORD", }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Cloud_PubSub_to_Redis", "environment": { "maxWorkers": "10" } } }
Ersetzen Sie dabei Folgendes:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlVERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
LOCATION
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
INPUT_SUBSCRIPTION
: das Pub/Sub-EingabeaboREDIS_HOST
: der Redis-DB-HostREDIS_PORT
: der Redis-DB-PortREDIS_PASSWORD
: das Redis-DB-Passwort
Nächste Schritte
- Dataflow-Vorlagen
- Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.