破損したファイルをバックアップしないようにデータの破損を検出する
私はデータの整合性について考えていました。現在、約2 TBのデータをバックアップしており、1年前のデータを常に1回バックアップしています。
私の懸念は、本番ファイルサーバーでファイルが破損した場合、一部のファイルは何年もアクセスされていないため誰も気付かないことです。破損が発生した場合は、破損したファイルをバックアップします。
この問題をどのように処理すればよいかわかりませんが、データの破損を検出する方法はありますか？または、何かが破損して気付かれない場合に備えて、古いバックアップを保存する唯一の解決策ですか？
私の経験では、ファイルの種類ごとに、何かが実際に破損しているかどうかを判断するための独自のチェックが必要です。データは本質的に点とダッシュであり、「破損」を決定するものは完全にファイルに依存します。どのファイルタイプが最も重要であるかを判断してから、ファイルタイプの整合性をチェックする自動化を作成することが合理的に可能かどうかを判断する必要があります。ファイルタイプの仕様が時間の経過とともに変化し、プログラムで破損を判断する簡単な方法がない独自の形式に遭遇すると、これは困難な作業になります。
さらに、データの破損は問題の一部にすぎません。人間の観点からはファイルが間違っている場合がありますが、データ構造の観点からは一貫しています。誰かが誤ってファイルを編集した場合、データは破損の観点から問題ありません。
最終的には、ビジネスのリーダーシップに腰を下ろし、会社にとって最も重要なデータ資産を決定する必要があります。次に、それらを保持する必要がある期間と、リコールのレベルを決定します。彼らは過去4年までのきめ細かいポイントインタイムの回復を望んでいますか？たぶん、特定のファイルだけで、他のファイルではないでしょうか？
バックアップするのが2TBしかないことを考えると、LTO4カートリッジを使用するGFSテープバックアップ方式では、比較的少ないテープで何年も遡ることができます。もちろん、これはデータチャーンに完全に依存しています。ビジービットがたくさんある場合は、より多くのテープがあります。それでも、2TBは、LTO4またはコモディティディスクストレージでさえ、数年分のデータを保持するためにあくびをする相対的なスペックです。
デジタル資産を保護することは簡単な作業ではありません。タムを手元に置いてください。
これが、ZFSが非常に優れている理由の1つです データの破損がなくなりました 。 CIFSを介したZFSファイルシステムの共有は非常に簡単です。