BigQuery パイプラインの概要
BigQuery パイプラインを使用すると、BigQuery データ処理を自動化して効率化できます。パイプラインを使ってコードアセットをスケジュールして順番に実行することで、効率の向上と手作業の削減を実現できます。
概要
パイプラインには Dataform を使用します。
1 つのパイプラインは、次の 1 つまたは複数のコードアセットで構成されます。
パイプラインを使用して、コードアセットの実行をスケジュールできます。たとえば、SQL クエリを毎日実行するようにスケジュールし、最新のソースデータでテーブルを更新することで、ダッシュボードを強化できます。
複数のコードアセットを含むパイプラインでは、実行する順序を定義します。たとえば、ML モデルをトレーニングするには、SQL クエリでデータを準備し、その後のノートブックでそのデータを使用してモデルをトレーニングするワークフローを作成できます。
機能
パイプラインでは、次のことができます。
- SQL クエリまたはノートブックを新規作成するか、既存のものをインポートしてパイプラインに追加する。
- 指定した時間と頻度で自動的に実行されるようにパイプラインをスケジュールする。
- 指定したユーザーまたはグループとパイプラインを共有する。
- パイプラインへのリンクを共有する。
制限事項
パイプラインには次のような制限があります。
- パイプラインは Google Cloud コンソールでのみ使用できます。
- パイプラインを保存するリージョンは、パイプラインの作成後に変更することはできません。詳細については、コードアセットにデフォルトのリージョンを設定するをご覧ください。
- ユーザーまたはグループには、選択したパイプラインへのアクセス権を付与できますが、パイプライン内の個々のタスクへのアクセス権は付与できません。
サポートされているリージョン
すべてのコードアセットは、コードアセットのデフォルトのリージョンに保存されます。デフォルトのリージョンを更新すると、それ以降に作成されるすべてのコードアセットのリージョンが変更されます。
次の表に、パイプラインを利用できるリージョンの一覧を示します。
| リージョンの説明 | リージョン名 | 詳細 | |
|---|---|---|---|
| アフリカ | |||
| ヨハネスブルグ | africa-south1 |
||
| 南北アメリカ | |||
| コロンバス | us-east5 |
||
| ダラス | us-south1 |
 低 CO2 |
|
| アイオワ | us-central1 |
低 CO2 |
|
| ロサンゼルス | us-west2 |
||
| ラスベガス | us-west4 |
||
| モントリオール | northamerica-northeast1 |
低 CO2 |
|
| 北バージニア | us-east4 |
||
| オレゴン | us-west1 |
低 CO2 |
|
| サンパウロ | southamerica-east1 |
低 CO2 |
|
| サウス カロライナ | us-east1 |
||
| アジア太平洋 | |||
| 香港 | asia-east2 |
||
| ジャカルタ | asia-southeast2 |
||
| ムンバイ | asia-south1 |
||
| ソウル | asia-northeast3 |
||
| シンガポール | asia-southeast1 |
||
| シドニー | australia-southeast1 |
||
| 台湾 | asia-east1 |
||
| 東京 | asia-northeast1 |
||
| ヨーロッパ | |||
| ベルギー | europe-west1 |
低 CO2
|
|
| フランクフルト | europe-west3 |
低 CO2
|
|
| ロンドン | europe-west2 |
低 CO2
|
|
| マドリッド | europe-southwest1 |
低 CO2
|
|
| オランダ | europe-west4 |
低 CO2 |
|
| トリノ | europe-west12 |
||
| チューリッヒ | europe-west6 |
低 CO2 |
|
| 中東 | |||
| ドーハ | me-central1 |
||
| ダンマーム | me-central2 |
||
割り当てと上限
BigQuery パイプラインには、Dataform の割り当てと上限が適用されます。
料金
BigQuery パイプライン タスクの実行により、BigQuery でコンピューティングとストレージの料金が発生します。詳細については、BigQuery の料金をご覧ください。
ノートブックを含むパイプラインでは、デフォルトのマシンタイプに基づいて Colab Enterprise ランタイムの料金が発生します。料金の詳細については、Colab Enterprise の料金をご覧ください。
BigQuery パイプラインは、実行ごとに Cloud Logging を使用してロギングされます。BigQuery パイプラインの実行では、ロギングが自動的に有効になります。このため、Cloud Logging の料金が発生する場合があります。詳細については、Cloud Logging の料金をご覧ください。
次のステップ
- パイプラインを作成する方法を確認する。
- パイプラインの管理方法を学ぶ。
- パイプラインのスケジュールを設定する方法を確認する。