Diese Vorlage erstellt eine Batchpipeline, die Dokumente aus MongoDB liest und in BigQuery schreibt.
Wenn Sie Daten aus dem MongoDB-Änderungsstream erfassen möchten, können Sie die MongoDB-zu-BigQuery-Vorlage (CDC) verwenden.
Pipelineanforderungen
- Das BigQuery-Ziel-Dataset muss vorhanden sein.
- Die MongoDB-Quellinstanz muss über die Dataflow-Worker-Maschinen zugänglich sein.
Ausgabeformat
Das Format der Ausgabedatensätze hängt vom Wert des Parameters userOption
ab. Wenn userOption
den Wert NONE
hat, hat die Ausgabe das folgende Schema. Das Feld source_data
enthält das Dokument im JSON-Format.
[ {"name":"id","type":"STRING"}, {"name":"source_data","type":"STRING"}, {"name":"timestamp","type":"TIMESTAMP"} ]
Wenn userOption
den Wert FLATTEN
hat, vereinfacht die Pipeline die Dokumente und schreibt die Felder der obersten Ebene als Tabellenspalten. Angenommen, die Dokumente in der MongoDB-Sammlung enthalten die folgenden Felder:
"_id"
(string
)"title"
(string
)"genre"
(string
)
Bei FLATTEN
hat die Ausgabe das folgende Schema. Das Feld timestamp
wird von der Vorlage hinzugefügt.
[ {"name":"_id","type":"STRING"}, {"name":"title","type":"STRING"}, {"name":"genre","type":"STRING"}, {"name":"timestamp","type":"TIMESTAMP"} ]
Wenn userOption
JSON
ist, speichert die Pipeline das Dokument im BigQuery-JSON-Format. BigQuery unterstützt JSON-Daten mit dem Datentyp JSON.
Weitere Informationen finden Sie unter Mit JSON-Daten in GoogleSQL arbeiten.
Vorlagenparameter
Erforderliche Parameter
- mongoDbUri: MongoDB-Verbindungs-URI im Format
mongodb+srv://:@.
. - database: Datenbank in MongoDB, aus der die Sammlung gelesen werden soll. Beispiel:
my-db
. - collection: Name der Sammlung in der MongoDB-Datenbank. Beispiel:
my-collection
. - userOption:
FLATTEN
,JSON
oderNONE
.FLATTEN
vereinfacht die Dokumente auf die Einzelebene.JSON
speichert das Dokument im BigQuery-JSON-Format.NONE
speichert das gesamte Dokument als JSON-formatierten STRING. Die Standardeinstellung ist: NONE. - outputTableSpec: Die BigQuery-Tabelle, in die geschrieben werden soll. Beispiel:
bigquery-project:dataset.output_table
.
Optionale Parameter
- KMSEncryptionKey: Cloud KMS-Verschlüsselungsschlüssel zum Entschlüsseln des MongoDB-URI-Verbindungsstrings. Wenn der Cloud KMS-Schlüssel übergeben wird, muss der MongoDB-URI-Verbindungsstring verschlüsselt übergeben werden. Beispiel:
projects/your-project/locations/global/keyRings/your-keyring/cryptoKeys/your-key
. - filter: Bson-Filter im JSON-Format. Beispiel:
{ "val": { $gt: 0, $lt: 9 }}
. - useStorageWriteApi: Wenn
true
, verwendet die Pipeline die BigQuery Storage Write API (https://cloud.google.com/bigquery/docs/write-api). Der Standardwert istfalse
. Weitere Informationen finden Sie unter „Storage Write API verwenden“ (https://beam.apache.org/documentation/io/built-in/google-bigquery/#storage-write-api). - useStorageWriteApiAtLeastOnce: Gibt bei Verwendung der Storage Write API die Schreibsemantik an. Wenn Sie die "Mindestens einmal"-Semantik verwenden möchten (https://beam.apache.org/documentation/io/built-in/google-bigquery/#at-least-once-semantics), legen Sie diesen Parameter auf
true
fest. Wenn Sie die "Genau einmal"-Semantik verwenden möchten, legen Sie den Parameter auffalse
fest. Dieser Parameter gilt nur, wennuseStorageWriteApi
true
ist. Der Standardwert istfalse
. - bigQuerySchemaPath: Der Cloud Storage-Pfad für das BigQuery-JSON-Schema. Beispiel:
gs://your-bucket/your-schema.json
. - javascriptDocumentTransformGcsPath: Der Cloud Storage-URI der Datei
.js
, in der die zu verwendende benutzerdefinierte JavaScript-Funktion (UDF) definiert wird. Beispiel:gs://your-bucket/your-transforms/*.js
- javascriptDocumentTransformFunctionName: Der Name der benutzerdefinierten JavaScript-Funktion (UDF), die verwendet werden soll. Wenn Ihre JavaScript-Funktion beispielsweise
myTransform(inJson) { /*...do stuff...*/ }
ist, lautet der Funktionsname myTransform. Beispiele für JavaScript-UDFs finden Sie unter UDF-Beispiele (https://github.com/GoogleCloudPlatform/DataflowTemplates#udf-examples). Beispiel:transform
Benutzerdefinierte Funktion
Optional können Sie diese Vorlage erweitern, indem Sie eine benutzerdefinierte Funktion (UDF) in JavaScript schreiben. Die Vorlage ruft die UDF für jedes Eingabeelement auf. Nutzlasten von Elementen werden als JSON-Strings serialisiert.
Wenn Sie eine UDF verwenden möchten, laden Sie die JavaScript-Datei in Cloud Storage hoch und legen Sie die folgenden Vorlagenparameter fest:
Parameter | Beschreibung |
---|---|
javascriptDocumentTransformGcsPath |
Der Cloud Storage-Speicherort der JavaScript-Datei. |
javascriptDocumentTransformFunctionName |
Der Name der JavaScript-Funktion. |
Weitere Informationen finden Sie unter Benutzerdefinierte Funktionen für Dataflow-Vorlagen erstellen.
Funktionsspezifikation
UDFs haben die folgende Spezifikation:
userOption
den Wert NONE
hat, muss das JSON-Objekt ein Attribut namens _id
enthalten, das die Dokument-ID enthält.Führen Sie die Vorlage aus.
Console
- Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf. Zur Seite "Job aus Vorlage erstellen“
- Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
- Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist
us-central1
.Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.
- Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the MongoDB to BigQuery templateaus.
- Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
- Klicken Sie auf Job ausführen.
gcloud
Führen Sie die Vorlage in der Shell oder im Terminal aus:
gcloud dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/MongoDB_to_BigQuery \ --parameters \ outputTableSpec=OUTPUT_TABLE_SPEC,\ mongoDbUri=MONGO_DB_URI,\ database=DATABASE,\ collection=COLLECTION,\ userOption=USER_OPTION
Ersetzen Sie dabei Folgendes:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlREGION_NAME
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
OUTPUT_TABLE_SPEC
: Der Name Ihrer BigQuery-Zieltabelle.MONGO_DB_URI
: Ihr MongoDB-URI.DATABASE
: Ihre MongoDB-Datenbank.COLLECTION
: Ihre MongoDB-Sammlung.USER_OPTION
: FLATTEN, JSON oder NONE.
API
Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "inputTableSpec": "INPUT_TABLE_SPEC", "mongoDbUri": "MONGO_DB_URI", "database": "DATABASE", "collection": "COLLECTION", "userOption": "USER_OPTION" }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/MongoDB_to_BigQuery", } }
Ersetzen Sie dabei Folgendes:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlLOCATION
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
OUTPUT_TABLE_SPEC
: Der Name Ihrer BigQuery-Zieltabelle.MONGO_DB_URI
: Ihr MongoDB-URI.DATABASE
: Ihre MongoDB-Datenbank.COLLECTION
: Ihre MongoDB-Sammlung.USER_OPTION
: FLATTEN, JSON oder NONE.
Nächste Schritte
- Dataflow-Vorlagen
- Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.