A E/S gerenciada oferece suporte aos seguintes recursos para o BigQuery:
- Criação de tabelas dinâmicas
- Destinos dinâmicos
- Para leituras, o conector usa a API BigQuery Storage Read.
Para gravações, o conector usa os seguintes métodos do BigQuery:
- Se a origem for ilimitada e o Dataflow estiver usando o processamento de streaming exatamente uma vez, o conector fará gravações no BigQuery usando a API BigQuery Storage Write com semântica de entrega exatamente uma vez.
- Se a origem não for limitada e o Dataflow estiver usando o processamento de streaming pelo menos uma vez, o conector fará gravações no BigQuery usando a API BigQuery Storage Write com semântica de entrega pelo menos uma vez.
- Se a origem for limitada, o conector usará carregamentos de arquivos do BigQuery.
Requisitos
Os seguintes SDKs são compatíveis com E/S gerenciada para BigQuery:
- SDK do Apache Beam para Java versão 2.61.0 ou mais recente
- SDK do Apache Beam para Python versão 2.61.0 ou mais recente
Configuração
| Ler e gravar configuração | Tipo de dado | Descrição |
|---|---|---|
table |
string | A tabela do BigQuery para leitura ou gravação. Formate como
"PROJECT.DATASET.TABLE". Exemplo:
"my_project.dataset1.table1". |
kms_key |
string | Especifica uma chave do Cloud Key Management Service (Cloud KMS) para criptografar a tabela do BigQuery ao gravar ou para criptografar tabelas temporárias criadas durante as leituras. |
| Ler configuração | Tipo de dado | Descrição |
fields |
lista de strings | Uma lista de colunas a serem lidas da tabela. Esse parâmetro permite leituras eficientes quando uma tabela contém muitas colunas. |
query |
string | Uma consulta SQL para leitura. Se especificado, o conector executa a consulta no BigQuery e lê os resultados. |
row_restriction |
string | Um predicado que filtra dados no lado do servidor. Exemplo:
"age > 18". |
| Gravar configuração | Tipo de dado | Descrição |
triggering_frequency |
integer | Para fontes sem limites, especifica a frequência com que as gravações de arquivos são acionadas, em segundos. |
Para leituras, especifique table ou query. Para gravações, é necessário especificar table.
Para mais informações, consulte os tópicos a seguir: