适用于 BigQuery 的 Dataflow 托管式 I/O

托管式 I/O 支持 BigQuery 的以下功能:

要求

以下 SDK 支持适用于 BigQuery 的托管式 I/O:

  • Java 版 Apache Beam SDK 2.61.0 或更高版本
  • Python 版 Apache Beam SDK 2.61.0 版或更高版本

配置

读取和写入配置 数据类型 说明
table 字符串 要读取或写入的 BigQuery 表。格式为 "PROJECT.DATASET.TABLE"。示例:"my_project.dataset1.table1"
kms_key 字符串 指定 Cloud Key Management Service (Cloud KMS) 密钥,以在写入时加密 BigQuery 表,或加密在读取期间创建的任何临时表。
读取配置 数据类型 说明
fields 字符串列表 要从表中读取的列的列表。当表包含许多列时,此参数可实现高效读取。
query 字符串 要从中读取的 SQL 查询。如果已指定,则连接器会在 BigQuery 上运行查询并读取查询结果。
row_restriction 字符串 在服务器端过滤数据的谓词。示例: "age > 18"
写入配置 数据类型 说明
triggering_frequency 整数 对于无界限来源,指定文件写入触发的频率(以秒为单位)。

对于读取,您必须指定 tablequery。对于写入,您必须指定 table

如需了解详情,请参阅以下主题: