コモディティLinuxストレージファームに最適な分散ファイルシステム
私はたくさんの予備のlinux Linuxサーバーを置いて（数百）、それらをWebホスティングおよびファイル共有環境の分散ファイルシステムに使用したいと考えています。これはHPCアプリケーション用ではないため、高いパフォーマンスは重要ではありません。主な要件は高可用性です。1つのサーバーがオフラインになっても、そのサーバーのハードドライブに保存されているデータは他のノードから引き続き利用できます。 TCP/IPで実行し、標準のPOSIXファイル権限を提供する必要があります。
私は以下を見ました：
光沢（ http://wiki.lustre.org/index.php?title=Main_Page ）：本当に近い、ただし、ノード上のデータの冗長性は提供されません。 RAIDまたはDRBDを使用してデータHAを作成する必要があります。 Sunとオープンソースでサポートされているので、しばらくの間存在するはずです
gfarm（ http://datafarm.apgrid.org/ ）：冗長性を提供するように見えますが、複雑さと保守性が犠牲になります。 Lustreほどサポートされていません。
誰もがこれらまたは他の機能する可能性のあるシステムについて何か経験がありますか？
またチェック GlusterFS
編集（2012年8月）：Ceph が最終的に準備されています。最近、著者たちは Inktank を設立しました。これは、商用サポートを販売する独立した会社です。いくつかの発表によると、マウント可能なPOSIX準拠のファイルシステムは最上層であり、実際にはまだテストされていませんが、下層はしばらくの間、本番環境で使用されています。
興味深い部分は、libradosライブラリ（複数の言語で利用可能）を介した「ネイティブ」アクセスとAmazon S3互換のRESP APIの両方を備えたオブジェクトベースのストレージを提供するRADOSレイヤーです。どちらを使用しても、Webサービスに大容量のストレージを追加するには十分すぎるほどです。
このビデオ は、哲学、アーキテクチャ、機能、および現在のステータスについての良い説明です。
私の意見では、Linuxに最適なファイルシステムはMooseFSです。これはまったく新しいものですが、CephやLusterと比較する機会があり、MooseFSが最高のシステムであると確信しています。
現在、Glusterはかなりの注目を集めています。
誰かがそれを使用することを強制しない場合は、Lustre以外のものを使用することを強くお勧めします。私が他の人から聞いたこととかなり長い間私自身に悪夢を与えたことから、Lusterはあらゆる種類の状況で非常に簡単に故障するという事実です。そして、システム内の1つのクライアントのみが故障した場合、通常は重要なグローバルロックを保持しながら、自身を無限のdo_nothing_loopモードにします。そのため、次に別のクライアントが同じ情報にアクセスしようとすると、ハングします。したがって、多くの場合、クラスター全体を再起動することになります。これは、通常は回避しようとするものです;）
FhGFS（http://www.fhgfs.com）などの最新の並列ファイルシステムは、ここでの方がはるかに堅牢であり、同じマシンでサーバーコンポーネントとクライアントコンポーネントを実行するなどの優れた機能を実行できます（組み込みのHA機能はまだ彼らのチームの誰かが私に言ったように、開発、しかし彼らの実装は私が聞いたことからかなり素晴らしいものになるでしょう）。
光沢は私たちのために働いています。完璧ではありませんが、負荷を超えて故障していないのは、私たちが試した唯一のことです。私たちはまだLBUGSを随時入手しており、100TB以上のファイルシステムを扱うことは決して容易ではありませんが、Lusterシステムは機能し、パフォーマンスと可用性の両方を向上させました。
私は分散ファイルシステムについてたくさん読んでおり、FhGFSが最高だと思います。
試してみる価値があります。詳細については、以下をご覧ください。
Ceph は、アリーナへの有望な新しい風のエントリのようです。しかし、サイトはまだ本番使用の準備ができていないと主張しています。