Managed I/O unterstützt die folgenden Funktionen für BigQuery:
- Dynamische Tabellenerstellung
- Dynamische Ziele
- Für Lesezugriffe verwendet der Connector die BigQuery Storage Read API.
Für Schreibvorgänge verwendet der Connector die folgenden BigQuery-Methoden:
- Wenn die Quelle unbegrenzt ist und Dataflow die genau einmalige Verarbeitung im Streaming verwendet, führt der Connector Schreibvorgänge in BigQuery aus. Dazu wird die BigQuery Storage Write API mit genau einmaliger Übermittlungssemantik verwendet.
- Wenn die Quelle unbegrenzt ist und Dataflow Streaming mit mindestens einmaliger Verarbeitung verwendet, schreibt der Connector Daten in BigQuery. Dazu wird die BigQuery Storage Write API mit Semantik für die mindestens einmalige Zustellung verwendet.
- Wenn die Quelle begrenzt ist, verwendet der Connector BigQuery-Dateiladevorgänge.
Voraussetzungen
Die folgenden SDKs unterstützen verwaltete E/A für BigQuery:
- Apache Beam SDK für Java Version 2.61.0 oder höher
- Apache Beam SDK für Python Version 2.61.0 oder höher
Konfiguration
| Konfiguration lesen und schreiben | Datentyp | Beschreibung |
|---|---|---|
table |
String | Die BigQuery-Tabelle, aus der gelesen oder in die geschrieben werden soll. Formatieren Sie den Text als "PROJECT.DATASET.TABLE". Beispiel:
"my_project.dataset1.table1". |
kms_key |
String | Gibt einen Cloud Key Management Service-Schlüssel (Cloud KMS) zum Verschlüsseln der BigQuery-Tabelle beim Schreiben oder zum Verschlüsseln temporärer Tabellen an, die während des Lesens erstellt werden. |
| Lesekonfiguration | Datentyp | Beschreibung |
fields |
Liste mit Strings | Eine Liste der Spalten, die aus der Tabelle gelesen werden sollen. Dieser Parameter ermöglicht effiziente Lesevorgänge, wenn eine Tabelle viele Spalten enthält. |
query |
String | Eine SQL-Abfrage zum Lesen. Falls angegeben, führt der Connector die Abfrage in BigQuery aus und liest die Abfrageergebnisse. |
row_restriction |
String | Ein Prädikat, mit dem Daten serverseitig gefiltert werden. Beispiel:
"age > 18". |
| Schreibkonfiguration | Datentyp | Beschreibung |
triggering_frequency |
integer | Gibt für unbegrenzte Quellen die Häufigkeit an, mit der Dateischreibvorgänge ausgelöst werden, in Sekunden. |
Für Lesezugriffe müssen Sie entweder table oder query angeben. Für Schreibvorgänge müssen Sie table angeben.
Weitere Informationen finden Sie unter folgenden Links: