web-dev-qa-db-ja.com

大量のデータをコピーする最速の方法

2つのサーバー間で大量のファイル(60000以上)をコピーする必要があります。これは約5TBのデータです。

バックアップサーバーをフォルダーとしてマウントし、その方法でファイルをコピーしようとしましたが、ファイルを適切に書き込む権限を取得できませんでした。

そこで、残りの3つのnicポートを結合し、クロスケーブルを接続し、cp/scpを使用してすべてをコピーすることを考えました。現在、私はnicのenがそのようにデータを転送するのを経験していません。

速くなりますか?誰もがより良い解決策に関連するか、私にいくつかのアドバイスを与えることができますか?ありがたいです。

1
Roffel

大量のファイルをコピーするとき、私は通常これらのコマンドを使用します:

目標:

nc -q 1 -l 1234 | pv -pterb -s <filesize>G | tar xv

ソース:

tar cv <DIR>  | nc -q 1 <targetip> 1234

これにより、ポート1234を介したソースからターゲットへの多くのプロトコルオーバーヘッドなしで、すべてのデータが直接ストリーミングされます。これは、ローカルネットワークでデータをコピーする最も速い方法であることが判明しました。さらに、ターゲットにpvコマンドを追加したので、ファイルの距離を大まかに把握できます。

より高度な、しかしおそらくより遅い転送のために、rsyncの使用をお勧めします。

3
BenSower