大規模なRAID構成NAS
24個の1TBディスクNASボックスを構築することを考えていますが、最適なドライブ構成が何であるかわかりません。arecaARC-1280ML-2Gコントローラーの使用を検討しています。 24台すべてのドライブをぶら下げます。
保存しているデータの種類に応じて、すべてを1つのボリュームとしてマウントしたいと思います。私たちが持っていたクレイジーなアイデアの1つは、6つの4ディスクRAID 5ボリュームを構成し、それらの6つのボリュームに対してソフトウェアRAID5を実行することでした。つまり、1つのボリュームが死ぬ可能性があり、それでもデータが失われることはありません。
これはR＆Dプロジェクトであることに注意してください。高速で高可用性を実現するには、数十テラバイトのストレージが必要になるアプリケーションが間もなく登場します。しかし、最初の研究開発段階では、ある程度のリスクを受け入れることができます。
このタイプの構成に対する最善の解決策は何ですか？ 24 1 TBディスクの場合、複数が同時に（または最初の障害後のボリュームの再構築にかかる時間内に）障害が発生する可能性が高いため、問題が発生しています良い解決策を見つける。
必要なものに対応するRAIDレベルがすでにあります。それはRAID10と呼ばれます。
近年、プロフェッショナルおよびコンシューマーレベルのドライブのMTBFは桁違いに増加しており、修正不可能なエラー率は比較的一定に保たれています。この率は10 ^ 14ビットと推定されるため、1ビット消費者向けSATAドライブの場合、読み取り12テラバイトあたり、 ソース 。
したがって、24Tbドライブのパスをスキャンするたびに、統計的に少なくとも2つのシングルビットエラーが発生します。これらの各エラーはRAID5の再構築をトリガーし、さらに悪いことに、再構築中に2番目のエラーが二重障害を引き起こします。
これはまさに私の日常の仕事です... Linuxストレージサーバーを構築しています。
- アレカカードはOKです。 RAID-6で使用でき、妥当なセキュリティを提供します。 オプションのバッテリーバックアップユニットを購入も。
- デスクトップドライブではなく、エンタープライズグレードのディスクを使用します。サーバーにさらに400ドルを費やしますが、それだけの価値はあります。予備のドライブを2台購入します。それを台無しにしないでください、同じモデルのディスクを使用してください。
- ファイルシステムには、[〜＃〜] xfs [〜＃〜]を使用します。冗談ではありませんが、ext3とその仲間たちは、16TB以上のファイルシステムの仕事に就けないでしょう。重大なクラッシュが発生した場合でも、xfs_repairは20TBのボリュームで非常に高速になります（15分、それ以上）。
- できれば、LVM2を使用すると、あまり変更する予定がない場合でも、ストレージ管理が容易になります。
- areca管理ツールをインストールし、cronジョブを作成して、ヘルスチェックを含む毎日の電子メールを送信します。
- バックアップを忘れないでください。 RAIDはバックアップではありません。誰かが単に重要なファイルを削除した場合、適切なバックアップなしでは回復できません。私は個人的にrdiff-backupを使用して、すべての重要なデータを1か月の履歴を持つ専用サーバーに保存します。ファイルサーバーに2つのRAIDボリュームを作成し、一方を他方にバックアップすることもできます。
うわー、RAID5 over RAID5？パフォーマンスの問題について話し合いたいですか？ tonsになります。それらをぶら下げているホストは、子猫がパリティを計算し、そのパリティを3つのドライブに書き込み、次にそのパリティのパリティを計算して、そのセットの4番目のドライブに書き込みます。うわー！
RAID10について話しましょう。これは基本的にRAID1ですが、ドライブを半分に分割し、それをミラーリングします。 2台のドライブを失っても問題がないという点でフォールトトレラントであり、パフォーマンスは卓越しています。
非常に多くのスペースは必要ありませんが、24 TBのアレイがあり、それ以上のことは何もありませんが、絶対に確実に稼働させる必要がある場合は、RAID60を検討してください。これは基本的に、ミラーリングされたドライブのセットを使用するRAID6です。ドライブの約半分が失われ、パフォーマンスが低下しますが、データがそこにあることがほぼ保証されます。
本当に、私はRAID10を使います。それはうまく機能し、うまく機能します。私は、fsckやchkdskのようなものは永遠にかかるので、おそらくそれほど多くのディスクから巨大なRAIDセットを作成するべきではないというエヴァンの意見を二番目にしていますが、より重要なのは、読み取りエラーの統計的可能性があるためです。個々のディスクサイズと同じように増加します。セットごとに7〜10個のディスクをお勧めします。その数のスピンドルを使用して、3つの非常に適切なサイズのRAIDボリュームを作成できます。
どちらを選択する場合でも、アレイがそれらを交換するのを待つのではなく、すぐに再構築を開始できるように、ホットスペアにいくつかのディスクを残すことを忘れないでください。ディスクが死ぬとすぐに、時計は別のディスクが行くように刻み始めます。
なぜRAID1 + 0ではないのですか？それはすべてコントローラーレベルで処理されます...
wazoox、答えは良いです私は彼にもっとプラスのポイントを与えるための担当者がいませんが、私は以下を追加します。
RAID 6または10枚のディスクあたり少なくとも2枚のライブパリティディスク。最大で16枚です。これは、RAIDの再構築によってパフォーマンスが影響を受ける約1日かかる場合です。劣化に耐えられない場合は、ミラーリングされたストライプにする必要があります。
Linuxルートを使用する場合は、ハードウェアRAIDカード（バッテリーバックアップ付き）を使用するか、ディスクエンクロージャーにRAIDコントローラーを配置します。 Linuxでxfsが選択されるファイルシステムであることに同意しますが、xfs_checkを実行する必要がある場合、xfsで約50TBのファイルシステムは16GB以上のRAMを必要とすることに注意してください。
NetAppのような良いNASボックスは、長期的にははるかに作業が少ないので、真剣に検討します。それは、あなた/ストレージ管理者の時間が会社にとってどれだけの価値があるかによって異なります。
Nfs/sambaをうまく機能させることは少し暗い芸術です、あなたは10GBのエーテルを使うつもりですか、それとも1GB /秒の集合体だけを使うつもりですか？ （Broadcommカード、特に10GBのカードは入手しないでください）。
LVM2は非常に簡単ですが、高速ではないため、スナップショットは使用しないでください。
これのバックアップには時間がかかることを忘れないでください。
システムが本番環境に移行する前に失敗する可能性がある方法をテストし、すべてがうまくいかなかったときにあなたとあなたの同僚がドキュメントを見つけることができる場所にシステムを書き留めておきます。
読み取り/書き込み比率によって異なります。多くのHPMSA70外部25ディスクSASドライブエンクロージャーを使用し、読み取りと書き込みの比率が99％：1％であるため、常に単一のRAID6アレイとして作成します。 R6の書き込み速度はほぼ遅いです（それでもかなり高速ですが、他のデータと比べるとそれほど良くありません）。このようにして、23ディスク相当のデータを利用でき、非常に優れたランダム読み取りと全体的な読み取り帯域幅のように非常に優れています利点があり、2つのディスク障害に耐えることができます。
大まかな目安として、RAID5アレイは1つのアレイに約14を超えるディスクを含めるべきではありませんが、RAID6は最大54のディスクで問題ないはずです。明らかに、アレイが大きいほど、読み取りと書き込みのパフォーマンスと再構築が遅くなると時間がかかりますが、それは良いトレードオフになる可能性があります。
「R＆D」とおっしゃっていましたが、「高可用性」ともおっしゃっていました。 DIYソリューションの「節約」と既製のギアの購入の違いに疑問を投げかけますSANこれを行うためのギア。DIYソリューションで問題が発生すると、うらやましいことになります。助けを求める人がいないという立場。1時間あたりのダウンタイムのコストはどれくらいですか？関連するコストを無視すると、ダウンタイムのコストで中規模のギアのコストをかなり早く使い果たすことができますSANデータが完全に失われます。
基盤となるディスクについて何をするかに関係なく、私はそれほど大きなファイルシステムを1つも作成しません。
ファイルシステムの破損は現実的な可能性です（RAIDコントローラーの問題、OSのバグなど）。非常に大きなボリュームでは、ファイルシステムのチェックに永遠に時間がかかります。論理的に組み合わせて単一のファイルシステムとして表示できる複数のボリュームを使用することを強くお勧めします（さまざまな方法で、OSについて言及していなかったため、具体的なアイデアを提供することはできません）。ファイルシステムが破損していると、論理ボリュームの一部が失われますが、それでも「稼働」しています。
例：Windowsの世界では、ファイルで満たされた20TB NTFSボリュームでCHKDSKを実行すると、[〜＃〜] slow [〜＃〜]になります。そのような環境では、複数の小さなNTFSボリュームを作成し、それらをDFSを使用して単一の名前空間に論理的に結合します。
まず、2つのスタンバイディスクを追加します。
RAID 5または6は、ランダムな読み取りまたは大規模なシーケンシャルな読み取りと書き込みに適しています。 RAID 5+は小さな書き込みで4倍のヒットが発生するため、小さな書き込みを大量に取得する場合は、RAID10を使用してください。
書き込みキャッシュをオンにする場合は、バッテリーでバックアップすることを忘れないでください。