BigQuery 数据流简介
您可以使用 BigQuery 流水线来自动执行和简化 BigQuery 数据流程。借助流水线，您可以按顺序安排和执行代码资产，从而提高效率并减少手动工作量。
概览
流水线由 Dataform 提供支持。
流水线由以下一项或多项代码资产组成：
您可以使用流水线来安排代码资产的执行。例如，您可以安排 SQL 查询每天运行一次，并使用最新的源数据更新表（随后可以为信息中心提供支持）。
在包含多个代码资产的流水线中，您可以定义执行序列。例如，如需训练机器学习模型，您可以创建一个工作流，其中 SQL 查询会准备数据，后续笔记本随后会使用这些数据训练模型。
功能
您可以在流水线中执行以下操作：
- 在流水线中创建新的 SQL 查询或导入现有 SQL 查询或 Notebook。
- 安排流水线，以便按指定的时间和频率自动运行。
- 与您指定的用户或群组共享数据流式传输。
- 分享指向流水线的链接。
限制
数据流有以下限制：
- 流水线仅在 Google Cloud 控制台中提供。
- 流水线创建后，您无法更改用于存储流水线的区域。如需了解详情，请参阅为代码资产设置默认区域。
- 您可以向用户或群组授予对所选流水线的访问权限，但无法向其授予对流水线中的各个任务的访问权限。
支持的区域
所有代码资产都存储在代码资产的默认区域中。更新默认区域会更改此后创建的所有代码资产的区域。
下表列出了可使用数据流水线的区域：
| 区域说明 | 区域名称 | 详细信息 | |
|---|---|---|---|
| 非洲 | |||
| 约翰内斯堡 | africa-south1 |
||
| 美洲 | |||
| 哥伦布 | us-east5 |
||
| 达拉斯 | us-south1 |
 二氧化碳排放量低
|
|
| 艾奥瓦 | us-central1 |
二氧化碳排放量低
|
|
| 洛杉矶 | us-west2 |
||
| 拉斯维加斯 | us-west4 |
||
| 蒙特利尔 | northamerica-northeast1 |
二氧化碳排放量低
|
|
| 北弗吉尼亚 | us-east4 |
||
| 俄勒冈 | us-west1 |
二氧化碳排放量低 |
|
| 圣保罗 | southamerica-east1 |
二氧化碳排放量低
|
|
| 南卡罗来纳 | us-east1 |
||
| 亚太地区 | |||
| 香港 | asia-east2 |
||
| 雅加达 | asia-southeast2 |
||
| 孟买 | asia-south1 |
||
| 首尔 | asia-northeast3 |
||
| 新加坡 | asia-southeast1 |
||
| 悉尼 | australia-southeast1 |
||
| 台湾 | asia-east1 |
||
| 东京 | asia-northeast1 |
||
| 欧洲 | |||
| 比利时 | europe-west1 |
二氧化碳排放量低
|
|
| 法兰克福 | europe-west3 |
二氧化碳排放量低
|
|
| 伦敦 | europe-west2 |
二氧化碳排放量低
|
|
| 马德里 | europe-southwest1 |
二氧化碳排放量低
|
|
| 荷兰 | europe-west4 |
二氧化碳排放量低
|
|
| 都灵 | europe-west12 |
||
| 苏黎世 | europe-west6 |
二氧化碳排放量低
|
|
| 中东 | |||
| 多哈 | me-central1 |
||
| 达曼 | me-central2 |
||
配额和限制
BigQuery 流水线受 Dataform 配额和限制的约束。
价格
执行 BigQuery 流水线任务会在 BigQuery 中产生计算和存储费用。如需了解详情，请参阅 BigQuery 价格。
包含笔记本的流水线会根据默认机器类型产生 Colab Enterprise 运行时费用。如需了解价格详情，请参阅 Colab Enterprise 价格。
每次 BigQuery 流水线运行都会通过 Cloud Logging 进行记录。系统会自动为 BigQuery 流水线运行启用日志记录功能，这可能会产生 Cloud Logging 结算费用。如需了解详情，请参阅 Cloud Logging 价格。