1ペタバイトを1つのストレージから新しいストレージに移動する最速の方法はどれですか？
まず、読んでくれてありがとう、そして私の仕事に関連することを聞いてすみません。これは私が自分で解決しなければならないことだと理解していますが、ご覧のとおり少し難しいです。
簡単な説明：
今
ストレージ=> OST、4 OSS、10GigEネットワーク用のDDNS2A9900ストレージを使用した1PB。 （光沢1.6）
2xInfinibandを備えた100個の計算ノード
36ポートの1つのインフィニバンドスイッチ
後
ストレージ=>以前のストレージ+ DDN S2A990またはLSIE5400を使用した別の1PB（まだ決定中）（光沢2.0）
8 OSS、10GigEネットワーク
2xInfinibandを備えた100個の計算ノード
以前の経験：次のコマンドを使用して3日以内に120 TB転送されました：
tar -C /old --record-size 2048 -b 2048 -cf - dir | tar -C /new
--record-size 2048 -b 2048 -xvf - 2>&1 | tee /tmp/dir.log
したがって、ここでの大きな問題は、大きな数式を使用して、データを一方の側から新しい側に転送するのに1か月かかると結論付けています。この間、研究者は後退する必要があり、私は個人的にこれに満足していません。
18の計算ノード（18 * 2 IB = 36ポート）を使用してデータを転送し、あるストレージから別のストレージにデータを転送するために使用できる可能性があるため、無限バンド接続があることをお伝えします。 。 IBスイッチがすべてのトラフィックを処理するかどうかを調べようとしていますが、それが燃え尽きた場合は、10GigEを使用するよりも速くなります。
また、同じサーバー上に光沢1.6エージェントと2.0エージェントを配置すると、非常にうまく機能します。これにより、メタデータサーバーを2つの手順でアップグレードするために1.8まで進む必要はありません。
何か案は？
どうもありがとう
注1：ゾレダケ、（A）600Tbと（B）400Tbの2つのブロックに分割できます。アイデアは、（A）をlustre2.0形式の新しいストレージに移動し、次に（A）がlustre2.0であった場所をフォーマットし、（B）をこのlustre2.0ブロックに移動して、（B）があった場所で拡張することです。 。
このようにして、それぞれ1PBの別々のファイルシステム上の（A）と（B）で終わります。
目標は、古いストレージと新しいストレージの間のすべてのレイヤーが、古いマシンから取得できる最大読み取り速度よりも速くなるようにすることです。彼らの仕様では、6GB /秒のシーケンシャルが要求されています（これはそうあるべきです）。つまり、アドバタイズされた速度を取得できる場合、データを移動するために可能な最小時間は46時間の領域になります。
Tarを使用して3日間で120 TBを移動した場合、平均して1秒あたり0.5 GBのシャイである必要があります。これは、仕様が主張する6 GB/sよりもかなり少ない値です。真の数はおそらく中間のどこかになります。
まず、タールが問題になる可能性があります。私はUNIXの人ではなくストレージの人ですが、私が知る限り、プロセッサの速度に基づいてスループットを制限する可能性があります。この方法に固執する場合は、移行を実行するノードの数を増やし、データセットのさまざまな部分でノードを機能させることで、移行ウィンドウを下げることができます。古いマシンがファイルをより速く提供できなくなるまで、ノードを追加し続けます。
次に、古いストレージを読み取るのと同じ速さで、移行ノードから新しいストレージに書き込むことができることを確認します。これは、新しいストレージのいくつかの設定を微調整すること（特に、旧式のミラーリングされた書き込みキャッシュがある場合）と、ネットワークのボトルネックがないことを確認することを意味する場合があります。
最後に、これは少し遠いかもしれませんが、ダウンタイムを取ることができ、このボックスがFC経由でLUNを提供している場合は、ストレージ仮想化デバイスをデータパスに挿入して、低速ではありますが、ストレージの使用を継続できます。移行を行っている間。 IBMのSAN Volume Controller、Falconstoreの仮想化アプライアンス、またはHDSストレージアレイはすべて、ホストアクセスを中断することなく、バックグラウンドでのデータ移行を自動化できます。どれも、あなたが望むほど高速ではありません。以前は使用されていましたが、新しいストレージヘッドからノードを動作させるために必要な短い中断の後、移行中に作業を行うことができます。
移行が完了すると使用されなくなるため、購入する価値はないかもしれませんが、借りたり借りたりすることはできるかもしれません。