web-dev-qa-db-ja.com

AirflowでDAG間の依存関係を設定する方法は？

Airflow を使用してバッチジョブをスケジュールしています。毎晩実行されるDAG（A）と、月に1回実行されるDAG（B）があります。 Bは、Aが正常に完了したことに依存します。ただし、Bの実行には時間がかかるため、より良いSLAレポートを作成できるように、Bを別のDAGに保持したいと思います。

同じ日にDAG Aを正常に実行したことに依存してDAG Bを実行するにはどうすればよいですか？

pythonetlairflow
32
Conor

ExternalTask​​Sensorと呼ばれる演算子を使用して、この動作を実現できます。 DAG（B）のタスク（B1）がスケジュールされ、DAG（A）のタスク（A2）の成功を待ちます

外部タスクセンサーのドキュメント

32
p.magalhaes

TriggerDagRunOperator も使用できるようです。また、python callableを使用してロジックを追加できます。ここで説明されているように： https://www.linkedin.com/Pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand

8
nono