web-dev-qa-db-ja.com

Linux用の大きなファイル(バックアップ)向けの安定したファイルシステム

バックアップにはどのファイルシステムが最適ですか?安定性(特にハードリブート時のファイルの破損など)に主に関心がありますが、大きな(> 5GB)ファイルをいかに効率的に処理するかも重要です。

また、どのマウントパラメータを使用すればよいですか?

カーネルはLinux> = 2.6.34です。

編集:バックアップ方法は必要ですしません。それらを保存するためのファイルシステムが必要です。

18

ext4を使用できますが、journal_dataモードでマウントすることをお勧めします。これにより、dealloc(遅延割り当て)がオフになり、以前の問題が発生していました。 deallocを無効にすると、新しいデータの書き込みが遅くなりますが、電源障害が発生した場合の書き込みの損失は少なくなります。また、journal_dataを使用せずにdeallocを無効にできることにも言及する必要があります。これには、わずかに改善された読み取りなど、他のいくつかの利点があります(少なくともext3でそれがありました)。

エクステントは依然として断片化に役立ちます。エクステントは大きなファイルの削除をext3よりもはるかに高速にします。サイズのデータ​​(単一ファイル)の削除は、ext4ではほぼ瞬時に行われますが、ext3では時間がかかる場合があります。 (エクステントベースのFSにはこの利点があります)

ext4はext [3よりもfsckも高速です。

最後に、ext4には2.6.31までのバグ修正がありましたか?基本的に、LTSカーネルである2.6.32より前のカーネルを実行していないことを確認します。

13
xenoterracide

XFSは堅実で、古くからカーネルに組み込まれています。 xfs_freezeなどのツールを調べて、それが探しているものかどうかを確認します。私はこれが非常に主観的であることを知っていますが、何の問題もなく何年もの間データストレージにXFSを使用してきました。

5
dsp

チェックサムをサポートするバックアップツールを使用するだけです。たとえば Dar はサポートし、増分バックアップをサポートします。次に、ext3のような堅固なファイルシステムにバックアップできます。

バックアップの場合は、安定した/非常に安定したものが必要です。そして、btrfsやZFSは今日の準備ができていません。

3
maxschlepzig

他の回答で説明していない、見たことのない非常に重要な側面は、ファイルシステムのオンディスクレイアウトの安定性機能です(たとえば、可能性のある候補のドキュメントを参照することを検討してください- ext4btrfs

コードベースとコードベースファイルシステムドライバのテストの量は、他の回答が示したように確かに重要ですが、これはデータの読み取りおよび書き込み中の保護であるためon disk layout/formatは、保存されていないデータへのリスクに対する保護です。これは、読み取り不可能なセクターなどのハードウェア障害の形式、またはサイレント bit rot

_ext4_に関しては、長い間テストされたコードベース( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem)に関して優れた特徴があると言われています。 %20fuzzing%2C%20Vault%202016_0.pdf は、たとえばより現代的でより複雑なbtrfs)よりも、バグを見つけるのに時間がかかったことを示しています ext4抵抗を調べました安静時 そして、他の称賛されたファイルシステムのいくつかのimho欠陥を発見しました。

_ext4_を "rock-solid backup fs"として選択した場合)は賢明であると見なし、_e2image_ツールは_ext4_の開発者が提供します

E2imageプログラムは、デバイス上にある重要なext2、ext3、またはext4ファイルシステムメタデータをimage-fileで指定されたファイルに保存します。これらのプログラムに-iオプションを使用して、dumpe2fsとdebugfsでイメージファイルを調べることができます。これは、壊滅的に破損したファイルシステムを回復するエキスパートを支援することができます。将来的には、e2fsckが拡張され、イメージファイルを使用して、破損の激しいファイルシステムを回復できるようになる予定です。

および 推奨

システム上のすべてのファイルシステムのイメージファイルを作成し、パーティションレイアウト(fdisk -lコマンドを使用して生成できます)を定期的に---起動時、および/または毎週またはそう。イメージファイルは、データが含まれているファイルシステム以外のファイルシステムに保存する必要があります。これにより、ファイルシステムが著しく損傷した場合に、このデータにアクセスできるようになります。

_ext4_/ディスクレイアウトのすべてのメタデータにも冗長性が提供されているわけではないことを考慮してください(つまり、スーパーブロックはコピーとして複数回保存されます)。正確に1か所のみ)、_ext4_は確かにbtrfsよりも劣っており、少なくともallメタデータ+ファイル内容データ

_ext4_のこの「欠点」を打ち消し、ディスクレイアウトの面でより_rock-solid_にするためには、補足するのが妥当かもしれません_par2_/ parchive によるファイル内容のこの冗長性とリカバリ

ファイルシステムソリューションに焦点を当てる必要があるという質問にもかかわらず、ファイルシステムが提供するほとんどの機能(キャッシング、ジャーナル、割り当てられたスペースの再利用、ブロックの割り当てなど)は、バックアップデータが必ずしも恩恵を受けるものではないことに注意したいと思います。バルクとラーリーでのみ書き込まれ、読み取られる場合の多く。そのため、プロセスで使用されるコードベースが減り、「機能」が少ない場合はバグが減るため、parchive補足tarバックアップをより最適なバックアップソリューションとして使用することを検討します。

0

btrfsには、ディスクに書き込まれたデータの透過的なチェックサムと、常にオンである高速の順序付き書き込みモード(および他の多くのバックアップに適した機能)があり、バックアップに適しています。詳細は https://btrfs.wiki.kernel.org/index.php/Main_Page を参照してください。

0
durin42