Verwaltete E/A unterstützt die folgenden Funktionen für BigQuery:
- Dynamische Tabellen erstellen
- Dynamische Ziele
- Für Lesevorgänge verwendet der Connector die BigQuery Storage Read API.
Für Schreibvorgänge verwendet der Connector die folgenden BigQuery-Methoden:
- Wenn die Quelle unbegrenzt ist und in Dataflow die Streamingverarbeitung mit genau einmal verwendet wird, führt der Connector Schreibvorgänge in BigQuery aus, indem er die BigQuery Storage Write API mit der genau einmal-Übermittlungssemantik verwendet.
- Wenn die Quelle unbegrenzt ist und in Dataflow die Streamingverarbeitung mit mindestens einmal verwendet wird, führt der Connector Schreibvorgänge in BigQuery aus. Dazu wird die BigQuery Storage Write API mit der Auslieferungssemantik „mindestens einmal“ verwendet.
- Wenn die Quelle begrenzt ist, verwendet der Connector BigQuery-Dateiuploads.
Voraussetzungen
Erfordert das Apache Beam SDK für Java Version 2.61.0 oder höher.
Konfiguration
| Konfiguration lesen und schreiben | Datentyp | Beschreibung |
|---|---|---|
table |
String | Die BigQuery-Tabelle, aus der gelesen oder in die geschrieben werden soll. Formatieren Sie den Namen als "PROJECT.DATASET.TABLE". Beispiel:
"my_project.dataset1.table1". |
kms_key |
String | Gibt einen Cloud KMS-Schlüssel (Cloud Key Management Service) an, um die BigQuery-Tabelle beim Schreiben oder alle temporären Tabellen zu verschlüsseln, die beim Lesen erstellt werden. |
| Lesekonfiguration | Datentyp | Beschreibung |
fields |
Liste mit Strings | Eine Liste der Spalten, die aus der Tabelle gelesen werden sollen. Mit diesem Parameter können Sie Daten effizienter lesen, wenn eine Tabelle viele Spalten enthält. |
query |
String | Eine SQL-Abfrage, aus der gelesen werden soll. Falls angegeben, führt der Connector die Abfrage in BigQuery aus und liest die Abfrageergebnisse. |
row_restriction |
String | Ein Prädikat, das Daten auf der Serverseite filtert. Beispiel:
"age > 18". |
| Schreibkonfiguration | Datentyp | Beschreibung |
triggering_frequency |
integer | Gibt für unbegrenzte Quellen die Häufigkeit an, mit der Dateischreiben ausgelöst werden, in Sekunden. |
Für Lesevorgänge müssen Sie entweder table oder query angeben. Für Schreibvorgänge müssen Sie table angeben.
Weitere Informationen finden Sie unter folgenden Links: