何百万ものファイルをrsyncとinotifyで「正しく」同期するにはどうすればよいですか？

Question

100万のファイルがあるとすると、ファイルリストは20 MBのようになります。ファイルを1つだけ追加すると、inotifyはrsyncにファイルリストと新しいファイルを転送するように指示します。私のネットワークは良くなく、帯域幅を制限する必要があるかもしれません（--bwlimit）。

複数のファイルが一度に追加される場合があり、ネットワーク転送速度が指定されている場合、複数のrsyncが同時に実行される場合があります。

その価値はありますか？もっと良い方法はありますか？

Answer 1

あなたのケースは lsyncd が何のために作られたのか正確に聞こえます。
それはinotifyでディレクトリを監視し、変更されたファイルのみでrsyncを生成します。
数秒間の変更を集約します。
したがって、1秒間に5つの変更を行うと、宛先サーバーへの新しい同期プロセスが1つだけ生成されます。