データ準備のスケジュール設定
このドキュメントでは、データ準備パイプラインのスケジュールを設定し、手動で実行する方法について説明します。
データ準備は Dataform を使って行います。
データ準備の実行には、カスタム Dataform サービス アカウントを使用します。このアカウントは、スケジュールまたはテスト実行の構成時に選択します。詳細については、Dataform のサービス アカウントについてをご覧ください。
データ準備ステップに加えた変更は自動保存されません。その変更をスケジュールで実行するには、変更を保存してデプロイする必要があります。スケジュールでは、常にデプロイされた最新バージョンのデータ準備が実行されます。開発中のデプロイされていない変更は実行されません。
始める前に
始める前に、データ準備を作成します。
必要なロール
データ準備を実行するには、データ準備の実行に使用するサービス アカウントにロールを付与する必要があります。詳細については、必要なロールをご覧ください。
データ準備を開発する
データ準備の開発時には、変更を本番環境にデプロイする前に、手順を手動で実行して、出力を検査することができます。現在開発中のバージョンをデータでテストできます。その間、BigQuery では、スケジュールに従って、デプロイ済みの最新バージョンを引き続き実行します。データ準備を実行する前に、宛先を構成し、検証エラーを修正する必要があります。
開発環境でデータ準備を手動で実行する
データ準備の手順をテストし、宛先テーブルの結果を検証するには、データ準備をデータ準備エディタから手動で実行します。
Google Cloud コンソールで [BigQuery] ページに移動します。
[エクスプローラ] ペインで、プロジェクトと [データ準備] フォルダを開きます。実行するデータ準備の名前をクリックします。
実行用のサービス アカウントの権限を構成します。
- データ準備エディタのツールバーで、無効になっている [実行] オプションにポインタを合わせます。
- サービス アカウントの構成に関する情報が表示されたダイアログで、[構成] をクリックします。
- [サービス アカウントの設定] ダイアログで、サービス アカウントを選択します。
- サービス アカウントに追加の権限が必要な場合は、[すべて付与] をクリックして必要なロールを付与します。
- [保存] をクリックします。
省略可: 将来の実行のためにサービス アカウントを更新するには、データ準備エディタのツールバーに移動し、[その他] > [今すぐ実行エクスペリエンスを構成] をクリックして、サービス アカウントの設定を更新して保存します。
表示された検証エラーを修正します。
データ準備エディタのツールバーで [実行] をクリックします。
[今すぐ実行] ダイアログで [確認] をクリックして、この手動実行で宛先テーブルにデータが書き込まれることを確認します。このテーブルは、スケジュール設定された実行でも使用できます。
実行すると、ステップが実行され、出力が宛先に読み込まれます。
省略可: 実行が完了すると、[実行] ペインに実行の詳細が表示されます。
データ準備をデプロイする
データ準備のバージョンの実行をスケジュールするには、まずそのバージョンをデプロイする必要があります。スケジュールでは、最新のデプロイ済みバージョンが実行されます。
データ準備をデプロイする手順は次のとおりです。
Google Cloud コンソールで [BigQuery] ページに移動します。
[エクスプローラ] ペインで、プロジェクトと [データ準備] フォルダを開きます。選択したデータ準備の名前をクリックします。
データ準備エディタが開きます。
データ準備エディタのツールバーで [デプロイ] をクリックします。
スケジュールを作成する
デプロイされたデータ準備の手順を実行し、準備されたデータを宛先テーブルに読み込むスケジュールを作成するには、データ準備の実行をスケジュールします。実行をスケジュールするには、宛先を構成し、検証エラーを修正する必要があります。
スケジュールを作成する手順は次のとおりです。
Google Cloud コンソールで [BigQuery] ページに移動します。
[エクスプローラ] ペインで、プロジェクトと [データ準備] フォルダを開きます。スケジュールするデータ準備の名前をクリックします。
データ準備エディタのツールバーで [スケジュール] をクリックします。
スケジュールの名前を入力します。
実行に関連付けられているサービス アカウント名を入力します。
頻度を設定します。
[スケジュールを作成] をクリックします。
スケジュール設定されたデータ準備を手動で実行する
選択したスケジュールでデータ準備を手動で実行すると、BigQuery ではスケジュールとは別に、データ準備が 1 回実行されます。
スケジュール設定されたデータ準備を手動で実行する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
選択したデータ準備のスケジュールの名前をクリックします。
[スケジュールの詳細] ページで [実行] をクリックします。
スケジュールを表示する
データ準備のスケジュールは、データ準備エディタまたは [スケジュール設定] ページで確認できます。
データ準備エディタ
データ準備のスケジュールを表示する手順は次のとおりです。
- データ準備エディタのツールバーで、スケジュール [スケジュールを見る] をクリックします。
- 省略可: スケジュールの履歴を表示するには、[過去の実行を表示] をクリックします。
スケジュール設定ページ
プロジェクト内のすべてのデータ準備スケジュールを表示する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
省略可: 選択したスケジュールの実行履歴と詳細を表示するには、スケジュールの名前をクリックします。手動実行の履歴は表示されません。
スケジュールを編集する
スケジュールは、データ準備エディタまたは [スケジュール設定] ページで編集できます。
データ準備エディタ
スケジュールを編集する手順は次のとおりです。
- データ準備エディタのツールバーで、スケジュール [スケジュールを見る] をクリックします。
- [データ準備のスケジュール] ダイアログで [編集] をクリックし、スケジュールを更新します。
- [スケジュールを更新] をクリックします。
スケジュール設定ページ
スケジュールを編集する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
選択したデータ準備のスケジュールの名前をクリックします。
[スケジュールの詳細] ページで、[編集] をクリックします。
[スケジュールを表示] をクリックします。
[データ準備のスケジュール] ダイアログで [編集] をクリックし、スケジュールを更新します。
[スケジュールを更新] をクリックします。
スケジュールを削除する
選択したデータ準備のスケジュールを完全に削除する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
スケジュールを含む行で、more_vert [アクション] > [削除] をクリックします。
次のステップ
- データ準備の作成方法について学習する。
- 詳しくは、データ準備を管理するをご覧ください。