データウェアハウスとは何か、ビッグデータとは何かを知っています。しかし、私はデータウェアハウスとビッグデータを混同しています。両方とも異なる名前で同じか、両方とも異なります(概念的および物理的)。
私はこれが古いスレッドであることを知っていますが、去年かそこらでいくつかの開発がありました。データウェアハウスとHadoopを比較することは、リンゴとオレンジを比較するようなものです。データウェアハウスは、高品質のクリーンで統合されたデータという概念です。データウェアハウスの必要性がすぐになくなるとは思いません。一方、Hadoopはテクノロジーです。大量のデータを処理する分散コンピューティングフレームワークです。従来、データウェアハウスは通常、リレーショナルデータベースとデータウェアハウスアプライアンス上に構築されていました。ただし、ここ数年でRDBMSのさまざまな制限が発生しました(データ量の増加に伴うライセンスコストの爆発的増加、グラフや階層のクエリ、非構造化データ型の取り込みなどの目的への適合性の低さなど)。同時に、Apache DrillなどのHadoop上のMPP SQLクエリエンジンが登場し、Hadoopにあるデータをクエリできるようになりました。
あなたがすべての詳細に興味があるなら、私は主題に関する一連の投稿を全部書いた。 ビッグデータ時代のデータウェアハウス。時代の終わり?
HadoopとData Warehouseの違い、および両者が互いに補完する方法について説明した素晴らしいスライドがあります。
私はこれを見つけました http://www.b-eye-network.com/view/17017 これはビッグデータとデータウェアハウスの違いを説明しています
ビッグデータソリューションとデータウェアハウスを比較すると、何が見つかりますか?ビッグデータソリューションはテクノロジーであり、データウェアハウジングはアーキテクチャであることがわかります。それらは2つの非常に異なるものです。テクノロジーはまさにそれです–大量のデータを保存および管理する手段です。データウェアハウスは、企業の信頼性と整合性を確保するためにデータを整理する方法です。誰かがデータウェアハウスからデータを取得すると、その人は他の人が同じデータを他の目的に使用していることを知ります。データウェアハウスが存在する場合、データの調整の基礎があります。
次の記事はあなたの考えに非常に役立つと思います。
It’s important to divide the techniques of data warehousing from the implementation. Hadoop (and the advent of NoSQL databases) will auger the demise of data warehousing appliances and the “traditional” single database implementation of a data warehouse.
It is safe to say that traditional, single server relational databases or database appliances are not the future of big data or data warehouses.
On the other hand, the techniques of data warehousing to include Extract-Transform-and-Load (ETL), dimensional modeling and business intelligence will be adapted to the new Hadoop/NoSQL environments.
From: http://gcn.com/blogs/reality-check/2014/01/hadoop-vs-data-warehousing.aspx
ウェアハウスは実際のデータを保存します。クラスターデータ全体の一部を保存します。データウェアハウスは、レポートとデータ分析に使用されるシステムです。これは、1つ以上の異なるソースからの統合データの中央リポジトリです。これらは、分析レポートの作成に使用される1つの場所に現在および過去のデータを保存します。
vs.
ビッグデータとは、デジタル環境で生成される大規模なデータを指します。このビッグデータは一般にサイズが大きく、生成サイクルは短いです。数値データだけでなく、テキストおよび画像データも含まれます。ビッグデータ環境は以前のものよりも多様です。データの種類は多様で、サイズは膨大であるため、人々の意見や行動を分析および予測することさえ可能です。さらに、 Machbaseデータベース は、ウェアハウスの概念を持つエンタープライズエディションを起動します。