La E/S administrada admite las siguientes funciones para BigQuery:
- Creación de tablas dinámicas
- Destinos dinámicos
- Para las operaciones de lectura, el conector usa la API de BigQuery Storage Read.
Para las operaciones de escritura, el conector usa los siguientes métodos de BigQuery:
- Si la fuente no tiene límites y Dataflow usa el procesamiento de transmisión de exactamente una vez, el conector realiza operaciones de escritura en BigQuery mediante la API de BigQuery Storage Write con semántica de entrega de exactamente una vez.
- Si la fuente no tiene límites y Dataflow usa el procesamiento de transmisión de al menos una vez, el conector realiza operaciones de escritura en BigQuery mediante la API de BigQuery Storage Write con semántica de entrega de al menos una vez.
- Si la fuente está delimitada, el conector usa cargas de archivos de BigQuery.
Requisitos
Se requiere la versión 2.61.0 o posterior del SDK de Apache Beam para Java.
Configuración
| Lee y escribe la configuración | Tipo de datos | Descripción |
|---|---|---|
table |
string | La tabla de BigQuery en la que se leerá o escribirá. Tiene el formato "PROJECT.DATASET.TABLE". Ejemplo:
"my_project.dataset1.table1". |
kms_key |
string | Especifica una clave de Cloud Key Management Service (Cloud KMS) para encriptar la tabla de BigQuery cuando se escriben datos o para encriptar las tablas temporales que se crean durante las operaciones de lectura. |
| Se lee la configuración | Tipo de datos | Descripción |
fields |
lista de cadenas | Es una lista de columnas que se deben leer de la tabla. Este parámetro permite lecturas eficientes cuando una tabla contiene muchas columnas. |
query |
string | Una consulta de SQL de la que se leerá. Si se especifica, el conector ejecuta la consulta en BigQuery y lee los resultados. |
row_restriction |
string | Un predicado que filtra los datos del servidor. Examplo:
"age > 18". |
| Cómo escribir la configuración | Tipo de datos | Descripción |
triggering_frequency |
integer | Para las fuentes ilimitadas, especifica la frecuencia con la que se activan las operaciones de escritura de archivos, en segundos. |
Para las operaciones de lectura, debes especificar table o query. Para las operaciones de escritura, debes especificar table.
Para obtener más información, consulta los siguientes temas: