ApacheLivyとspark-jobserverの比較
ApacheLivyがどこからでもsparkと対話するための残りのインターフェースであることを知っています。それで、spark-jobserverの代わりにApacheLivyを使用することの利点は何ですか。代わりに使用されます。インターネットではこれについて多くを見つけることができませんでした。これを明確にするために私を助けてください。
ありがとう、
私のユースケースに関連したいくつかの大きな違いがあります。
Livyの利点：
- Livyはコードを変更する必要はありませんが、SJSジョブは特定のクラスを拡張する必要があります。
- Livyではコードスニペットとプリコンパイル済みのjarを送信できますが、SJSではjarのみを受け付けます。
- REST Livyには、JavaおよびScala APIがあります。APython APIは開発中であり、SJSには「Pythonバインディング」があります
SJSの利点：
- SJSはjarも管理できます。これにより、Jarをアップロードして保存し、これらのjarから個別のREST呼び出しでジョブをデプロイできます。ジョブをデプロイする必要があるときはいつでも、Livyはjarを必要とします。
- SJSジョブは、REST呼び出しの一部として送信できるHOCON形式で構成できます。
さらに、SJSのドキュメントは優れていますが、どちらの場合も包括的ではありません。そしてもちろん、両方のプロジェクトがv1より前であるため、状況が急速に変化する可能性があることに注意してください。
私の場合、スニペットを送信する必要がなかったため、SJSを使用することになり、Jar管理とHOCOCN構成が役に立ちました。ただし、より徹底的な評価のために、近い将来Livyを再検討することを検討しています。
出典：
2018年9月の時点で、Livyと（Ooyala）Spark Job-serverの唯一の大きな違いは、（現在のバージョンの）LivyがSpark2.2に対して構築されているという事実です。 0、Livyの実行時に使用されるSparkのバージョンは、Livyのビルドに使用されるバージョンと一致する必要はありません。 Livyは内部で異なるSparkバージョン間の違いを処理します。
この動作は、ビルドされたSparkバージョンと 密結合 を持つSparkジョブサーバーとは異なります。に対して。