web-dev-qa-db-ja.com

Apache zeppelinとは何ですか？

Apache zeppelinについてよく耳にするので、頭に浮かぶ質問はほとんどありません。

  1. Apache zeppelinとは何ですか？
  2. ビッグデータエコシステムに追加されている新しい機能や追加機能は何ですか？
  3. ビッグデータエコシステムにすでに存在するフレームワーク/ツールの一部を置き換えるものですか？
apache-sparkbigdataapache-zeppelin
11
Farooque

Short Answer：データ駆動型のインタラクティブなデータ分析と共同ドキュメントを可能にするWebベースのノートブックSQL、Scalaなど。

長い答え：

  1. Zeppelinノートブックは、Webノートブックで任意のコードを実行するための簡単で簡単な方法を提供します。 Scala、SQLを実行し、定期的に実行するようにジョブを（cron経由で）スケジュールすることもできます。

  2. まず、同じノートブックで言語を混在させる方が簡単です。 SQL、scala、マークダウンを実行して、すべてをまとめて文書化できます。ノートブックをプレゼンテーションスタイルに簡単に変換することもできます。管理者にプレゼンテーションしたり、ダッシュボードで使用したりするためです。

  3. Pythonコミュニティで非常に人気のあるJupyter（旧称IPython）ノートブック。「replace」という単語は使用できません。同様の種類を使用します...

さらに 。

  • ZeppelinはSpark、PySpark、Spark R、Spark SQLと依存関係ローダーをサポートしています。

  • Zeppelinを使用すると、JDBCデータソースをシームレスに接続できます。 Postgresql、Mysql、MariaDB、Redshift、ApacheHiveなど。

  • Pythonは、Matplotlib、Conda、Pandas SQLとPySparkの統合でサポートされています。

13
Ram Ghadiyaram

ツェッペリンは素晴らしいツールです。これにより、1つのノートブックでさまざまなバックエンド/言語を使用できます。これが簡単な使用例です。

  1. Markdownを使用して説明を書く
  2. シェルを使用してデータを準備します。例えばcurl/wgetを使用してファイルをダウンロードし、HDFSに挿入します
  3. Sparkでデータ分析を行う
  4. SQLによる簡単な視覚化
  5. シェルで結果をエクスポートする
  6. リンク付きのグラフを公開する

これらの手順はすべて、1つのノートブックで実行できます。そして、1つのノートブックでできることはもっとたくさんあります。

ZeppelinはDatabricks.comオンラインソリューションに非常に近い

10
Rockie Yang