私の会社は定期的に米国から英国に約2TBのデータを送信する必要があります(圧縮されたデルタのサイズは2TBです)。どちらの側もインターネット接続が良好ですが、ファイルを直接送信するのは遅すぎて信頼性がありません。 1MB /秒の場合、エラーなしで転送が完了すると、転送に20日以上かかります。
結果として、これまでに見つかった最善の解決策は、「レンガを出荷する」ことです。普通郵便でハードドライブを送る。
大陸間でより良いネットワーク接続を提供するサービスがあるかどうか疑問に思いましたか? AWS S3を経由することを検討しましたが、そのアウトバウンド転送価格はかなり高価です...
注:問題はソフトウェアではありません。すでにrsyncを使用しています。それはうまく機能し、堅牢です。問題は、大西洋を越えたインターネット接続の速度と信頼性です。回答者が言ったように、専用リンクは私たちの予算にはありません。私が探しているのは、ディスクを出荷するよりも少し実用的な費用効果の高いソリューションです。
さて、あなたの質問には特定の重要な情報が欠けています:
それでも、いくつかのオプション:
プレーンな古いHTTPは、ダウンロードの再開をサポートしています—リクエストヘッダーのRange
フィールドを介して。
したがって、それをサポートするサーバー(実際には、nginx
、Apache
、lighthttpd
などの本番ソフトウェアやその他の数十億のソフトウェア)がある場合、ファイル全体を受信すると、次のようなものを実行することになりますクライアント上:
while true; do
wget -nd -c http://server:port/path/to/the/file && break
done
rsync
などの高度なソフトウェアは、隣接する同期セッション間でファイルが更新されている場合でも2つのディレクトリ階層を同期できる高度な手法を使用して、ファイル転送の再開をサポートします。
よくわかりませんが、Windows™では、robocopy
は貧乏人のrsync
としてサーバーできるはずです:それはthatソースの更新をサポートするのが得意ではありませんサイドですが、IIRCは転送を再開できます。
SyncThingなどの他の「何もしない」同期ツールは他にもあります。
HTTPとrobocopy
は、サーバーとクライアントの間に通常のネットワーク接続があることを前提としていることに注意してください。 VPNによって提供される場合は、そのパフォーマンスの調整を確認する必要があります。
rsync
は、SSHを使用してリモートのrsync
インスタンスを生成し、通信することができます。また、SSH呼び出しを微調整して、利用可能な最速の暗号を使用するようにしたり、圧縮をオフにしたりする必要がある場合があります。
Webサーバーなどをセットアップするための完全な環境がない場合は、いつでも次を使用できます: https://github.com/warner/magic-wormhole
再起動/再試行機能があり、さまざまなサービスで実行できます。
ロンドンからニューヨークへの転送に使用した別のツール: https://github.com/fast-data-transfer/fdt
常に2TBの完全に新しいデータである場合は、実際の1GBファイバーインターネットリンク(商用)を確認します。ただし、予算内にない場合があります。 (侮辱しないでください)...
とは言うものの、2TBの変化が日々「少量」である場合、完全な2TBとは異なるデータのみを転送します。
rsyncはそのための素晴らしい仕事をします。インターネット上でrsyncを使用してそれを実現する方法についてのチュートリアルはたくさんあります。
そうは言っても、次の質問もあります。データは機密ですか。
もしそうなら、私は直接sshオプションでrsyncまたはrsyncの前にSSHトンネルを開始して開始します。
インターネットの場合、オプションがない場合は、3TBのハードドライブとUPS/FedExワークフローを使用して、スケジュールに従ってディスクを送受信します。そのためのインターネット接続よりも安価な場合があります...
テープでいっぱいのバン(または飛行機)のバンドウィズを過小評価しないでください!