web-dev-qa-db-ja.com

LinuxからLinux、10 TB転送?

私は以前の同様の質問をすべて見てきましたが、答えはいたるところにあるようで、誰もロットのデータ(100 GBは10TBとは異なります)。

あるRAIDアレイから別のRAIDアレイ、ギガビットイーサネット、無料の百科事典、 [〜#〜] xfs [〜#〜] ファイルシステムに移動するために必要な約10TBがあります。私の最大の懸念は、転送が途中で死んでしまい、簡単に再開できないことです。速度は素晴らしいですが、転送を確実にすることははるかに重要です。

通常はtarとnetcatだけですが、移動元のRAIDアレイは最近非常に不安定であり、プロセスの途中でドロップした場合は回復して再開できる必要があります。 rsync を見るべきですか?

これをもう少し調べてみると、rsyncが遅すぎる可能性があるので、30以上かかることは避けたいと思います。だから今私は netcat で転送を監視/再開する方法についての提案を探しています。

9
lostincode

うん、rsync

オッドボール以外では、DRBDが最近発表した非同期機能。

14
cagenut

テープでいっぱいのステーションワゴンの帯域幅を過小評価しないでください。 比較的安価な消費者向けグレードで10TBが実現可能ですNAS機器を(たとえば2TB)チャンクに分割できれば。これが1回限りの場合は、半手動のプロセスが実行可能であり、2TB NASはわずか数百ドルです。

進行中のプロセスが必要な場合は、最初の転送を行った後にRSYNCを設定できます。

私は数ヶ月前にこの種の仕事をしなければなりませんでした。プロセスを高速化するために並列rsyncを使用しました。転送/同期するファイルをチャンクに分割し、いつでも再開できます。並列rsyncスクリプトについては、以下のリンクを参照してください。

https://Gist.github.com/rcoup/5358786

2
Pierre Bergdolt

コピーするデータを使用してサーバー上にFTPサーバーをセットアップし、受信側で「再開」を使用してFTPクライアントを使用することができます。私はFilezillaサーバーとクライアントを使用しており、クライアントの「再開」機能を頻繁に使用していますが、常に問題なく機能しています。

0
jamesbtate