多くのタスクを持つワークフローのためのApacheエアフローのためのより速い代替手段
現在、データ集約とETLワークフローを実行するためにApache Airflowを使用しています。私のワークフローは15~20のタスクを持つ1つのワークフローとかなり複雑で、ブランチを持っています。それらを組み合わせることができますが、再試行のような機能、私が使用する実行タイマーのような機能を否定するでしょう。空気流は非常に多くのタスクでかなり遅くなることを除いてうまく機能します。タスク間で時間がかかります。
タスク間でギャップがなくてもタスクを実行できるようにする代替方法はありますか？可能であれば、切り替える必要がある努力を最小限に抑えたいと思います。
私は推薦するでしょう Cadence Workflow 。それはより多くの開発者フレンドリーなプログラミングモデルと桁違いに大きいユースケースを順序付けるためのスケールです。それはまた、Uberで複数の待ち時間の敏感なアプリケーションにすでに使用されていました。