気流+セロリまたは薄暗がり。何のために、いつ？
Airflowの公式ドキュメントを読みます 以下 ：
これはどういう意味ですか？著者はスケールアウトとはどういう意味ですか？つまり、whenは、Airflowを使用するのに十分な場合notまたは誰もがセロリのようなものと組み合わせてエアフローを使用していますか？ （daskと同じ）
エアフローの用語では、「実行者」はタスクの実行を担当するコンポーネントです。 LocalExecutorは、Airflowが実行されるコンピューターにスレッドを生成し、スレッドにタスクを実行させることによりこれを行います。
当然、容量はローカルマシンで利用可能なリソースによって制限されます。 CeleryExecutorは、負荷を複数のマシンに分散します。エグゼキュータ自体がタスクを実行してキューにリクエストを発行し、いくつかのワーカーノードの1つがリクエストを取得して実行します。ワーカーノードのクラスターをスケーリングして、全体の容量を増やすことができるようになりました。
最後に、まだ準備ができていませんが、作業中にKubernetesExecutorがあります（ link ）。これにより、Kubernetesクラスターでタスクが実行されます。これは、タスクがコンテナで実行されるため、タスクを完全に分離するだけでなく、Kubernetesの既存の機能を活用して、たとえば最適な量のリソースを常に使用できるようにクラスターを自動スケーリングすることもできます。
このdaskとcelery/airflowタスクマネージャーの比較をお楽しみください http://matthewrocklin.com/blog/work/2016/09/13/dask-and-celery
あなたは特定の質問をしているわけではないので、そのような一般的な読書は有益であるはずであり、おそらくあなたはあなたが何を求めているかを明確にすることができます。