AirbnbエアフローとApache Nifi
AirflowとNifiはワークフローで同じジョブを実行しますか？それぞれの賛否両論は何ですか？いくつかのjsonファイルを読んで、さらにカスタムメタデータを追加し、Kafka=キューに入れて処理する必要があります。Nifiでできました。現在もAirflowで作業しています。プロジェクトに最適なワークフローエンジンを選択しようとしていますありがとうございます！
AirflowおよびApache NiFiチェックアウトの優れた概要については、次のredditの投稿をご覧ください： https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_Apache_nifi/
Jsonファイルを取り込む特定のユースケースでは、それらを充実させてKafkaにルーティングします。NiFiはこのジョブに適したツールだと思います。それぞれのドキュメントは次のとおりです。
JoltTransformJSON： https://nifi.Apache.org/docs/nifi-docs/components/org.Apache.nifi/nifi-standard-nar/1.9.2/org.Apache.nifi .processors.standard.JoltTransformJSON/index.html
PublishKafka（またはバージョンに応じてPublishKafka_0_10）： https://nifi.Apache.org/docs/nifi-docs/components/org.Apache.nifi/nifi-kafka-0-9 -nar/1.9.2/org.Apache.nifi.processors.kafka.pubsub.PublishKafka/index.html