web-dev-qa-db-ja.com

Googleのドレメルとは何ですか? Mapreduceとどう違うのですか?

GoogleのDremelは ここで説明 です。 DremelとMapreduceの違いは何ですか?

29
Yktula

これをチェックしてください 記事 アウト。 Dremelは、Hiveの将来のあり方(および将来)です。

MapReduceの主な問題と、それに加えてPig、Hiveなどのソリューションは、ジョブの実行と回答の取得の間に固有のレイテンシがあることです。ドレメルは完全に斬新なアプローチ(2010年にGoogleの論文で発表されました)を使用しています...

...アグリゲーターツリーに基づく新しいクエリ実行エンジンを使用します...

...実行するほぼリアルタイムインタラクティブANDadhocは、どちらもMapReduceでは実行できませんでした。そして、PigとHiveはリアルタイムではありません

projects に注意してください。 Isも私にとってはかなり新しい...ですから、他の専門家のコメントは大歓迎です!

編集:DremelはHiveの未来です(MapReduce as私は前に述べました)する必要があります。 Hiveは現在、MapReduceジョブを実行するためのSQLのようなインターフェースを提供しています。 Hiveのレイテンシは非常に高いため、アドホックデータ分析では実用的ではありません。 Dremelは、MapReduceとは異なる手法を使用して、データに対して非常に高速なSQLのようなインターフェイスを提供します。

22
Jai

DremelMapReduce は直接比較することはできませんが、補完的なテクノロジーです。

MapReduceはデータを分析するために特別に設計されたのではなく、ノードのコレクションが大きなデータセットの分散計算問題に取り組むことを可能にするソフトウェアフレームワークです。

Dremelは、大規模な構造化データセット(ログファイルやイベントファイルなど)に対してクエリをすばやく実行するように設計されたデータ分析ツールです。 SQLに似た構文をサポートしますが、テーブルの追加を除き、読み取り専用です。更新または作成機能をサポートしておらず、テーブルインデックスも備えていません。データは「列」形式で編成され、非常に高速なクエリ速度に貢献します。 GoogleのBigQuery製品は、RESTful APIを介してアクセス可能なDremelの実装です。

Hadoop(MapReduceのオープンソース実装)と「Hive」データウェアハウスソフトウェアを組み合わせることで、SQLスタイルの構文を使用した大規模なデータセットのデータ分析も可能になります。 Hiveは本質的にクエリをMapReduce関数に変換します。 ColumIO形式を使用するのとは対照的に、Hiveは、テーブルのインデックス付けなどの手法を使用してクエリをすばやく作成しようとします。

41

MapReduceは、問題を分割して分散し、結果を結合するための抽象的なアルゴリズムです。 Dremelは、データセットのクエリと分析を行うための特定のツールのようです。

4
Jim Deville