La E/S administrada admite las siguientes capacidades para BigQuery:
- Creación de tablas dinámicas
- Destinos dinámicos
- Para las lecturas, el conector usa la API de BigQuery Storage Read.
Para las escrituras, el conector usa los siguientes métodos de BigQuery:
- Si la fuente no está limitada y Dataflow usa el procesamiento de transmisión del tipo “exactamente una vez”, el conector realiza escrituras en BigQuery con la API de BigQuery Storage Write con semántica de entrega del tipo “exactamente una vez”.
- Si la fuente no está limitada y Dataflow usa el procesamiento de transmisión “al menos una vez”, el conector realiza escrituras en BigQuery con la API de BigQuery Storage Write con semántica de entrega “al menos una vez”.
- Si la fuente está limitada, el conector usa cargas de archivos de BigQuery.
Requisitos
Los siguientes SDK admiten E/S administrada para BigQuery:
- SDK de Apache Beam para Java, versión 2.61.0 o posterior
- SDK de Apache Beam para Python, versión 2.61.0 o posterior
Configuración
| Lee y escribe la configuración | Tipo de datos | Descripción |
|---|---|---|
table |
string | Es la tabla de BigQuery en la que se leerá o escribirá. Formato: "PROJECT.DATASET.TABLE" Ejemplo:
"my_project.dataset1.table1". |
kms_key |
string | Especifica una clave de Cloud Key Management Service (Cloud KMS) para encriptar la tabla de BigQuery cuando se escribe o para encriptar cualquier tabla temporal que se cree durante las lecturas. |
| Se lee la configuración | Tipo de datos | Descripción |
fields |
Lista de cadenas | Es una lista de columnas que se leerán de la tabla. Este parámetro permite lecturas eficientes cuando una tabla contiene muchas columnas. |
query |
string | Es una consulta en SQL para leer. Si se especifica, el conector ejecuta la consulta en BigQuery y lee los resultados de la consulta. |
row_restriction |
string | Es un predicado que filtra los datos en el servidor. Examplo:
"age > 18". |
| Cómo escribir la configuración | Tipo de datos | Descripción |
triggering_frequency |
integer | Para las fuentes no acotadas, especifica la frecuencia con la que se activan las escrituras de archivos, en segundos. |
Para las lecturas, debes especificar table o query. Para las escrituras, debes especificar table.
Para obtener más información, consulta los siguientes temas: