それぞれ小さなファイル(10kb以上)を含む約100GB以上のデータをバックアップしようとしています。別のハードドライブへのバックアップは、毎週できるだけ早く行う必要があります。このようなシナリオでバックアップするためのより良い(特に速度に関して)方法はどれですか? Rsync、またはtar?
間違いなくrsync
。
Rsyncの利点は、変更されたファイルのみをコピーすることです。
100GB以上の比較的小さなファイルがある場合は、それらをコピーしたくありませんall毎回。
注:allファイルがコピーされるため、rsync
を使用した最初のバックアップは遅くなります。その後、変更されたファイルのみがコピーされ、コピー中に圧縮できます。
rsync
のすべてのオプションをよく理解してください...たくさんあります。
Tarはアーカイブユーティリティです。 100GB以上のtarファイルを作成することも考えられますが、毎回すべてを転送する必要はありません。
追加したいのですが、一般的にはpaviumの回答に同意し、rsync
を選択しますが、tar
には増分バックアップ用のオプションがあります。男から:
-g、-listed-incrementalF新しいGNU形式の増分バックアップを作成/一覧表示/抽出します
-G, --incremental
create/list/extract old GNU-format incremental backup
編集:最近のコメントに続いて、両方のバックアップがどのように機能するかについてさらに詳しく説明します。
tar
は最初に大きなファイルを作成し、場合によっては圧縮されます(-g
gzipフラグ)すべてのバックアップファイル。次に、各増分バックアップは、変更されたファイルのみを使用して新しいファイルを作成します。このファイルでは、削除されたファイルも指定されます。
一方、rsync
は、最初は、ソースディレクトリの正確なツリーとファイルを含む2番目のミラーディレクトリを圧縮せずに保持します。次に、増分バックアップごとに(-B
フラグ)、ソースのミラーコピーを引き続き保持し、変更されたすべてのファイル(変更と削除の両方)の日付までに別のディレクトリに保持します。
したがって、それぞれの方法にはプラスとマイナスがあることが理解できます。 tar
バックアップは、従来のインクリメンタル方式で発生するように、容量が制限されたメディアで維持するのがより困難です。 rsync
は、従来のバックアップソリューションとは見なされません。ミラーは非圧縮であるため、ミラー用により多くのディスク容量が必要です。前の日付の完全バックアップを再構築するには、さらに時間がかかります。
更新:2016年3月以降、新しい代替案が登場しました: borg backup 。私はそれを強くお勧めします。 '重複排除'メソッドを使用します。上記のリンクの詳細。
ファイルの数が非常に多い場合、特にrsyncのバージョンが3未満の場合、rsyncはやや苦痛になる可能性があります。一方、tarを使用すると、非常に大きなtarファイルが生成されます(データがたくさん圧縮されます)。個人的には rdiff-backup を確認しますが、復元の状況を必ずテストしてください。rdiff-backupは、復元時に非常にメモリを消費する可能性があります。
ファイルがあまり変わらない場合-私はrsyncに投票します。
履歴(複数のバックアップ)が必要ですか、それとも他のディスクへのデータのプレーンコピーが必要ですか?ブロックレベルのバックアップを使用しない場合、100GBの10KBファイルのバックアップにはagesかかります。 fastソリューションが本当に必要な場合は、ブロックレベルのスナップショットまたはその他のブロックレベルベースのソリューションを作成することを検討してください。
rsnapshot を見てください。これは、rsyncのフロントとして使用できる単なるスクリプトです。変更されたもののみをバックアップし、バックアップをローテーションします。