DAG シリアル化の有効化と無効化

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

このページの手順に沿って DAG のシリアル化を有効または無効にします。

Cloud Composer 環境では、Airflow スケジューラと Airflow ウェブサーバーの両方が DAG を継続的に処理します。DAG のシリアル化を有効にすると、Airflow ウェブサーバーの信頼性とパフォーマンスを向上させることができます。

DAG のシリアル化を有効にすると、スケジューラはウェブサーバーに送信する前に DAG ファイルを処理します。ウェブサーバーは DAG を処理しません。代わりに、シリアル化された DAG を Airflow データベースから読み取ります。このようにして DAG をシリアル化すると、特に多数の DAG を処理する場合に、ウェブサーバーによる CPU とメモリ使用量が削減されます。

始める前に

DAG のシリアル化は、次の Cloud Composer 機能に影響します。

• DAG のシリアル化は、非同期の DAG の読み込みと同時に有効にすることはできません。
• DAG のシリアル化を有効にすると、Cloud Composer のすべての Airflow ウェブサーバー プラグインが無効になります。これは、Airflow オペレータ、センサーなど、スケジューラまたはワーカーのプラグインには影響しません。

DAG のシリアル化を有効にする

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を有効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション	キー	値
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

Airflow 構成オプション min_serialized_dag_update_interval は、シリアル化された DAG がデータベースで更新される頻度を制御します。dag_dir_list_interval オプションは、削除された DAG が Airflow データベースから削除される頻度を制御します。更新頻度が高いと、パフォーマンスに悪影響が及ぶ可能性があります。min_serialized_dag_update_interval と dag_dir_list_interval は 30 秒に設定することをおすすめします。

DAG のシリアル化の無効化

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を無効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション	キー	値
core	store_serialized_dags	False
core	store_dag_code	False