HDDバックアップはどのような定期メンテナンスが必要ですか？

Question

SSDや磁気ディスクではなく、外部HDDにバックアップされたディレクトリがたくさんあります。

バックアップは単一のディスクにのみ行われます（はい、私は知っています、コピー付きの追加のHDDは良い考えですが、今はそうではありません）。また、ディスク上にファイルの二重コピーはありません。

HDDの空き容量は（オプション1）ファイルが占めるよりもはるかに多い（オプション2）ファイルが占めるよりも少ない（ただし、それでもかなりの量）

私はディスクを元のパッケージに保管します。ビニール袋、包装のような「卵パック」内、プラスチックボックス内。私の家の部屋に保管されており、箱は太陽や雨などにさらされることはありません。

私の質問は次のとおりです。データの寿命を最大化するために、ディスクを定期的に使用する必要があるのですか？例えばすべてを別の場所に読み取るか、読み取りと書き込みを行うか、ディスク上のデータの物理的な位置を何らかの方法で再シャッフルするか、ディスクを揺さぶったり、物理的な位置を変更したり、何もせずに電源をオンにしたりします。私が説明した両方のオプションのシナリオの答えが欲しいです。

注：

この質問を特定のHDDブランドに限定するのではなく、知っておく必要があります。それは東芝STOR.Eの基本的な750 GBドライブです。私の選択ではありません、私はこれで作業する必要があります。
HDDのマニュアルにはこの問題については何も書かれていません。
バックアップは、過去のある時点でのこれらのフォルダーの状態を表します。この状態をそのまま維持することが重要であり、同じデータの「マスターコピー」がないと仮定します。
おそらく問題とは無関係ですが、これらのファイルが失われたとしても致命的な問題ではありませんが、予想される寿命を延ばしたいだけです。
2つのHDDに2つのコピーがある場合でも、質問は同じように関連します。それぞれに対してどのようなメンテナンス操作を個別に実行する必要がありますか？

Xen2050 · Answer

ある場合より多くの空き容量バックアップデータが使用するよりも-あなたのオプション1質問中-またはデータのコピーが複数ある場合は、「何かをする」という考えがあります。 SpinRiteがハードドライブの「メンテナンス」に本当に役立つと思う場合や、完全に上書きしてからデータのすべてのビットを再書き込みしたい場合は、これで十分です。

should何かをするかどうか、私にはよくわかりません... bit-rotまたは Data Degradation は実際に存在するようで、 thisスーパーユーザーの1つとこれはserverfaultの1つは、バックアップまたはエラー修正またはフォールトトレラントRAIDを推奨するようです（ただし、単一のハードドライブのみに複数のバックアップとハッシュを選択します）/CRCは、RAIDが失敗した場合に何をすべきかをチェックして心配しません）。

私はよりシンプルで面倒な "何もしない"アプローチに傾いていますが、以下は少なくとも良いものです"年に1回はデータを読み取ることができることを確認し、書き直してください。あまりにも」アイデア。

いくつかのSpinRiteメンテナンス機能のLinuxDIYエミュレーション

多くの人がSpinRiteが実際に機能することを確信しているようですが、無料ではなく、Linuxを実行しているので、Steve Gibsonの SpinRiteはどのように機能しますか？ビデオを聞いたことがあります。今は：

ドライブ全体を読み取る
ビットを反転して書き込みます
それらをもう一度読みます
ビットを反転して書き込みます
それらをもう一度読みます

ドライブが（マイナーな）問題を検出した場合、これは"ドライブ自体に不良セクタを良好なセクタと交換するように誘導する必要があります。"

どのくらいの頻度でこれを行う必要がありますか？スティーブは言います「それがどれくらいの頻度であるかは誰にもわかりませんが、数ヶ月ごとに十分なことが多いはずです」。私はちょうど6ヶ月ごとか毎年かそこらを推測しています。

`badblocks`

読み取り/反転/読み取り/反転プロセスは、badblocksが書き込みモードテスト（-wオプション）データを実際に「ビットフリップ」するのではなく、パーティションのすべてのビットを破壊的に書き込み、読み取り、フリップします。

このオプションを使用すると、badblocksはデバイスのすべてのブロックにいくつかのパターン（0xaa、0x55、0xff、0x00）を書き込み、すべてのブロックを読み取って内容を比較することにより、不良ブロックをスキャンします。

偶然ではありませんが、これらのパターンは、バイナリでは10101010、01010101、11111111、00000000です。

したがって、badblocksはビットの書き込み、読み取り、反転をかなり徹底的に行い、それも無料です。 mke2fsでbadblocksを実行している場合（badblocks -ccを使用）、badblocksのリストが保存されるため、ext2/3/4でbadblocksが見つかった場合は回避されます。

欠点は、badblocksの書き込みテストが破壊的であるため、atが必要になることです。これが機能するための（データの保存と書き戻しのための）少なくとも2つのパーティション。

ハードドライブにデータのコピーを2つ保持します、それぞれにDIFFERENT PARTITIONS！ 。
これにより、単一のパーティションのすべてのビットを10、01、11、00で上書きでき、不良領域が発生した場合の回復の可能性が2倍になります。また、CRC32やMD5などのデータファイルのチェックサム/ハッシュのリストを保持します（ただし、MD5/SHAはCRCに比べて非常に低速であり、ランダムエラーをCRCで見逃してはなりません）。
数か月ごと：
1. バックアップコピーを読み、それがまだチェックサム/ハッシュと一致していることを確認します。
2. 「疑似」-badblocks -wまたはmke2fs -ccでパーティションをビットフリップ（のみ1つのパーティション、すべてのデータを上書きせず、1つのコピーのみ！）
3. 新しく反転したパーティションにデータをコピーします
4. 「疑似」-他のパーティションをビットフリップします（まだフリップされていないパーティション）
5. 新しく反転したパーティションにデータをコピーして戻します

これは、データを再フォーマットしてコピーし直すのと似ていますが、通常、クイック/標準形式ではすべてのセクターに書き込まれるわけではないため、多くのビットを変更/反転しないことになります。

最善の解決策は、常に複数のデバイスに複数のコピーを置くことです。
光メディアは10年、20年、場合によっては50年以上も読み取り可能であり、2つの同一のディスク/ ISOがgddrescue（下記）に適合することを読みました。
クラウドストレージは多くの場合、数GBの間無料です。特に量が増え続ける場合は、そこにファイルを保存する（オプションで暗号化する）ことをお勧めします。

また、エラー訂正アーカイブにファイルを保存するmayエラーが発生した場合に役立ちますが、100万ファイルのうち1ファイルを失うことは、100万ファイルのアーカイブ全体を失うことほど悪くはないかもしれません。 ECC-CRCのような別個のエラー訂正ソフトウェアが存在する場合、それは役立つ可能性がありますが、私はそれを知りません。データの追加コピーがさらに良いでしょう。

接線方向に関連して、SpinRiteは、ハードドライブの不良セクタからデータを読み取るために「非常に困難」になり、さまざまな方向と速度から読み取ります。これも gddrescue 、データの読み取りで問題が発生した場合（またはいつ）。 gddrescueは、エラーのあるデータの2つのコピーから読み取ることもでき、うまくいけば1つの完全なコピーをつなぎ合わせて、2つ（またはそれ以上）を作成したいと思います。 ddを使用したデータパーティションの同一のコピー。ただし、badblocksが不良セクタを検出した場合、同一のコピーが変更されるため、それらを回避することはできません。

user686699 · Answer

ここのほとんどのポスターには見落とされているようですので、これはこの優れた投稿を使用して、あなたの質問の詳細に対する私の推奨される答えです長期、大量、データストレージ（アーカイブ）に使用するメディア？ガイドとして。彼は素晴らしい仕事をしたので、そこからの参考文献や研究を引用することはしません。投稿全体を読むことは、この場合の要約よりも優れています。

コールドストレージ（オフライン）で1台のHDDに制限し、2つのオプションを指定して、ドライブを2年ごと、またはその前後に接続し、スピンアップする必要があります。これを行う最大の理由は、スピンドルグリースが硬化して焼き付くのを防ぐためです。スピンドルグリースは時間の経過とともに硬化し、ディスクを時々回転させると、その結果を大幅に遅らせることができます。 HDDのグリースの重要性について洞察を得たい場合は、ミネベアの労力を見てください。HDDモーターの製造元は、それについての調査をこのレポートで行っています。

ディスクが接続されている間、いくつかのSMART診断を実行して、電子機器、ハードウェア、またはプラッターのいずれかの差し迫った障害の兆候を探すこともできます。ただし、FAST 'で発表された調査から07 by Google and Carnegie Mellon University {その年に「ベストペーパー」を受賞}、SMARTテストは失敗を示している可能性がありますが、「合格」テストは良好な健康状態を示すものではないかもしれませんが、それでもチェックは害にはなりません。はい、それは古い研究ですが、誰もそれを新しいもので置き換えたことはないようです。

ドライブをしばらく稼働させてデータにアクセスすると、データを保持している磁場の強さも更新されます。事例証拠の大群に基づいてそれは必要ではないと主張する人もいますが、そこにある研究は、磁場の弱体化が可能であることを示しているようです。私はウィスコンシン大学マディソン校の3つの論文を発表します：パリティ汚染、データ破損、およびディスクポインター破損。これらを読んだ後、それらの結論がデータをどれだけ脅かすか、そしてそれからデータを保護するためにどれだけの価値があるかを決定できます。

おすすめのキュレーションルーチン

使用しているOS、使用している、または使用しているツール、選択したファイルシステムがわかりません。したがって、私の提案は一般的なもののみであり、構成や設定に最適なツールを選択できます。

1つ目はストレージの設定です。 HDDにファイルを保存する前に、それらのアーカイブを作成します。これは圧縮を意味するものでも、それを回避するものでもありません。エラー回復または「自己修復」機能を提供するアーカイブ形式を選択してください。 1つの大規模なアーカイブを作成するのではなく、一緒に属するものをアーカイブして、アーカイブのライブラリを作成します。圧縮を選択する場合は、エラー回復機能に干渉しないことを確認してください。ほとんどの音楽、ビデオ、映画、および画像の形式では、圧縮を行う意味がありません。そのようなファイル形式は既に圧縮されており、圧縮しようとするとスペースがほとんど得られず、大きなファイルが作成され、時間とCPUパワーが大幅に無駄になります。それでも、上記のエラー回復のためにそれらをアーカイブしてください。次に、選択したダイジェストアルゴリズムを使用して、各アーカイブファイルのチェックサムを作成します。ここではセキュリティは問題ではなく、ファイルのサニティチェックにすぎないため、MD5で十分ですが、何でも機能します。チェックサムのコピーをアーカイブファイルととともに同じHDDの2番目の場所に保存します-おそらく、の全体のコレクションのための専用ディレクトリチェックサム。これはすべてディスクに保存されます。次に、非常に重要なことは、チェックサムの作成とアーカイブの復元に使用したツールをそのHDDに保存することです（圧縮を使用した場合は、アーカイブも解凍します）。システムによっては、これはプログラム自体である場合もあれば、プログラムのインストーラーである必要がある場合もあります。これで、選択したHDDを保存できます。

2つ目はストレージです。現在のHDDは、物理的な衝撃（揺れや跳ね返りの衝撃）から適度に保護されていますが、それを押す意味もありません。質問で述べたとおりに保管してください。電磁力を受ける可能性が高い領域を回避するために追加します。たとえば、回路ブレーカーパネルと同じように閉じていたり、アマチュア無線の上にあるわけではありません。ライトニングマイルの距離は避けられないものですが、掃除機と電源は避けられないと言います。極端になりたい場合は、ファラデーシールドまたはファラデーバッグを入手してください。あなたの提案のうち、2つは無意味か悪いかのどちらかです。保管中に物理的な位置を変更しても、重要なことには何の影響もありません。また、振ると損傷を引き起こす可能性があります。ほとんどのドライブには優れたGショックがあります。保護しますが、それは可能です。

最後は定期的な対策です。たとえば、選択したスケジュールで、毎年または隔年で、ストレージから削除してコンピューターに再接続します。 SMARTテストを実行し、実際に結果を読み取ります。SMARTの結果が、「次回」ではなく「接続中に、すべてのアーカイブファイルをチェックサムと照合します。チェックに失敗した場合は、アーカイブ形式のエラー回復機能を使用して、そのファイルを復元し、アーカイブとそのチェックサムを再作成して、再保存してみてください。。オプション2にも「十分な空き容量」があると指定したので、アーカイブを新しいディレクトリにコピーしてから、元のファイルを削除します。単に「移動」すると、まったく移動しない場合があります。新しい多くのファイルシステムでは、ファイルを移動しますリストされているディレクトリは変更されますが、ファイルの内容はそのまま残ります。ファイルをコピーすると、別の場所に強制的に書き込まれ、元のファイルを削除してスペースを解放できます。アーカイブファイルが多数ある場合、HDDの空き領域を埋めるほど大きなものはない可能性があります。すべてのファイルを確認または復元した後、m選択したものをすべて削除し、パッケージを復元して、次回まで保管場所に戻します。

注意すべき追加事項。システムをアップグレードするとき、またはさらに悪いことに、別のOSに切り替えるときは、新しい構成でそのHDDを読み取ることができることを確認してください。プレーンテキストではないものがある場合は、保存したファイルを読み取る機能を失わないようにしてください。例：MS-Word文書には、1つの形式で作成された方程式を含めることができますが、新しいバージョンではそれらを読み取ることができません。その問題については this を参照してください。ただし、問題の原因として考えられるのはWordだけではありません。また、オープンソース形式でさえ、データが将来にわたって利用できることを保証するものではありません。この領域での大失敗については、失敗した Digital Domesday Bookプロジェクトについて読んでください。新しいテクノロジーが登場したら、コレクションの更新も検討してください。ムービーをAVIファイルとして保存していて、MKVの方が好きな場合は、それらを変換します。ワープロ文書があり、プログラムをアップグレードする場合は、アーカイブされた文書を新しい形式で再保存してください。

Ecnerwal · Answer

専門的な観点から、あなたのオプションは次のとおりです。

祈る。
複数のデバイスで複数のコピーを作成します。

「オプション1」（はるかに多くのスペース）では、同じハードウェアで複数のコピーを作成することでオッズをごくわずかに増やすことができますが、ハードウェアが故障し、ディスク全体が読み取り不能になることはまれではありません。単一のコピーは実行可能なバックアップ戦略ではありません。

これが（プライマリデバイス上のファイルの）実際のバックアップなのか、それとも（プライマリデバイスから削除されたファイルの）アーカイブなのかはわかりません。アーカイブの場合は、余分なコピーが少し重要です。バックアップの場合、理論的にはプライマリコピーがあるため、完全に運が悪くなる前に少なくとも2つの障害が発生する必要があります。

harrymc · Answer

磁気メディアは時間の経過とともにフェードする可能性があり、その結果、ビットまたはセクターが不良になります。 1つの解決策は、数年に1回、磁気部品を更新することです。

最も簡単な方法は、ハードディスク全体をコピーして再書き込みすることですが、これでは、ファームウェアがヘッドを配置できるようにするセクターの「ヘッダー」であるセクターアドレスが更新されない場合があります。セクターアドレスを更新するには、ディスクの再フォーマットが必要になる場合があります（ディープフォーマット-迅速ではありません）。

別の解決策は、ディスク再生製品を使用することです。これらの製品は、物理レベルでディスクをスキャンし、すべてのセクターとそのアドレスを読み取り、両方を書き換えて磁気データを更新します。

追加のボーナスは、読み取りエラーの場合、これらの製品はデータを保存するために複数の読み取り方法を試し、セクターを不良としてマークし、スペアセクターに再マップすることです（ほとんどのハードディスクにはスペアセクターがあります）。データが保存されます。

ここにそのような製品がいくつかあります：

安全な長期保存を求める読者のための完全性のために、私はM-DISCまたはArchival Discとして商業的にブランド化された「一回限りの永久読み取り」DVDおよびBlu-Ray製品が存在することに言及します。

Overmind · Answer

メンテナンスを実行する必要はありません何でも。ドライブを再接続して電源を入れると、ドライブを継続的に稼働させるよりもリスクが高くなり、ボックス内でスリープさせるよりもはるかにリスクが高くなります。したがって、頻繁にチェックすると、実際に損傷の可能性が高まります。

保存方法は素晴らしいですが、温度を忘れないでください。極端にしないでください。バックアップドライブとして正確に何を使用しますか？いくつかは他よりもはるかに耐久性があります。

あなたが述べたように十分なスペースがあるので、あなたができることHDDに同じデータの2つのコピーを作成する。不良セクタの場合は問題ありません。私が気づいたことから、今日のほとんどのドライブはドライブの最初（最初の数GB）でセクターの損傷を受けますが、これは主にオペレーティングシステム（あなたのケースではない）が原因です。一般的に、不良セクターは最初にほとんどの場合一緒にクラスター化されて表示されるため、同じドライブにデータの2つのコピーがあると役に立ちます。

重要なファイルが数個しかない場合は、安全のために別の場所に保存することをお勧めします。暗号化されたアーカイブを作成してスティックに置くか、信頼できる人に渡してください。

Journeyman Geek · Answer

私はいつも、ドライブが故障すると想定するのがコツだと感じていました。ランダムな障害モードがいくつかあります。ランダムでない障害の場合（ここには2つの側面があります）、ドライブとファイルシステムです。

少し変わったソースですが-this reddit thread は、1つのビットが10年ほどで反転する可能性があることを示唆していますが、反転した1つのビットはECCによってサイレントに処理されると思われます-ファイルシステムのいずれかまたはドライブ自体に。

通常、定期的なSMARTテスト-保留中の再割り当てされたセクターなどを調べることで、年齢に関連する「大規模」問題を見つけることができます。デューティサイクルが比較的短いので、それほど多くは表示されませんが、ここでも少し妄想的です。繰り返しになりますが、状況が本当に悪くなるまで、ドライブはECCでこれをサイレントに処理する可能性があります。

最後に、突然のドライブまたはコントローラーの死亡のリスクがあります。理論的には、ドライブの寿命を最大化することが知られている制御された低温でドライブを実行することで、ドライブを赤ちゃんにすることができますが、私はドライブに実際に夢中になったことはありません。

ドライブには特定の数のスピンアップとスピンダウンがあるはずですが（ここでは問題ではありません）、ドライブをイジェクトすると正しくデータがドライブにフラッシュされるのではないかと思います。ドライブの電源を切るためのツールもあります。 hdparmでそれができると思いますが、もう少しテストが必要です。

最後に、持続することがわかっているドライブを選択します。また、数年ごとに外付けドライブをローテーションし、古いドライブを階層の下に移動します。

theoryでは、 ReFS や zfs のようなファイルシステムは、整数のデータチェックサムによるデータ損失のリスクを減らすように設計されています。少なくとも、静かにファイルが破損することはありません。より一般的なファイルシステムからそれらを選択すると、データ損失の可能性が低くなる可能性がありますが、デスクトップOSにまだそれらを展開する「簡単な」方法はありません。 ZFSはLinuxではある程度まともなサポートを提供し、Windowsではサポートしていません。また、ReFSはまだWindowsデスクトップにまで到達していません。これらは、実際のリカバリのために1つ以上のドライブに複数のコピーがあるように設計されているため、ここでは正確には機能しません。

John Littleton · Answer

他の推奨事項からわかるように、バックアップに価値がある場合、単一のバックアップリソースは信頼できるソリューションではありません。電子機器の経験から、私たちの多くは（難しい方法で）、それはIFの問題ではなく、バックアップデバイスがいつ失敗するかという問題であることを学びました。

ハードドライブは、設計上、比較的短期間のデータストレージ用です。 2つの優れた記事 https://serverfault.com/questions/51851/does-an-unplugged-hard-drive-used-for-data-archival-deteriorate およびどのくらいの時間未使用のハードドライブがデータを失うまで？ハードディスクドライブに保存されているデータの寿命について話し合います。いつものように、あなたの走行距離は異なる場合があります。

ここで説明するバックアップソリューションは、バックアップをまったく行わないよりも優れていますが、それでも単一障害点があります。単一のデバイスにバックアップを作成すると、データのコピーのみが失われ、火災、洪水、盗難、爆発、デバイス障害などが発生するリスクがあります。問題は、バックアップを保存するための努力は時間の価値があるかどうかということです。

目標、つまり信頼できるバックアップを達成するには、複数のバックアップが必要です。データをハードディスクに保存する場合、ハードディスクドライブに固有の長期的なストレージデータの劣化に対抗するために、バックアップで時折「更新」する必要があります。もし私があなたの靴を履いていたなら、私はオリジナルと同様の2番目のバックアップドライブを購入し、年に一度、プライマリドライブからセカンダリドライブにデータをコピーします。毎年の終わりに、プロセスを逆にして、データをセカンダリドライブからプライマリドライブにコピーして戻します。毎年すすぎ、繰り返します。ドライブの1つはサイトから離れた場所にあり、自然災害による唯一のデータコピーの損失を回避する必要があります。

gronostaj · Answer

これについて、科学的に裏付けられた信頼できるデータは見つかりませんでした。一般的に、この問題には2つの側面があります。

ビット腐敗：さまざまな物理的効果により、HDDのプラッターに格納されている磁区に格納されているビットが反転し、HDD上のデータが損傷する可能性があります。（ディスクはまだ完全に機能しています）
機械的な問題：ドライブの電源のオン/オフ、プラッターの回転または静止の維持、保管条件、および自然な経年劣化により、しばらくするとドライブが使用できなくなる可能性があります。（データmayはまだ無傷で回復可能です）

ビットの腐敗については、2008年以降の this thread で説明されています。ユーザーarnaudkは次のように書いています。

私が確認できることから、熱駆動の減磁のためにデータが失われるまでに約22年かかるようです（詳細は以下を参照）。ハードドライブは、暗い隅に室温で動かずに座っていました。実際には、ハードドライブ自体のモーターから50km離れた雷雨まで、あらゆるものによって発生する機械的振動と外部磁場のために、この時間は少し短くなります。

信号減衰の許容レベルはシステム設計によって異なりますが、通常は10〜20％の範囲です[ref4]。したがって、ビットドメイン全体が20％になるには、（-1/326000）* ln（0.8）=約22年かかります。熱消磁効果のみにより、データが失われる可能性があります。

^{（投稿への直接リンク）}

それは私が見つけることができた唯一の見積もりです。それが正しければ、5年ごとにドライブ全体を安全に書き換えて、データを「更新」することができます。

機械的な問題はさらに謎です。 Backblaze は、データセンターで数千台の消費者向けハードディスクを使用し、健康状態に関する最新情報を定期的に投稿している会社です。彼らの推定によれば、24時間年中無休で24年回転し、ハードドライブの20％が死亡しました。この傾向が続くと、6年後には半分が消えます。これは多かれ少なかれこのGoogleホワイトペーパーの数字と一致しています。ただし、これはハードディスクの標準的な使用例ではなく、ボックス内でオフラインになっているドライブと比較することはほとんどできません。私はこの事件に取り組んだ研究を知りません。

全体として、そのデータを本当に気にする場合は、データのコピーを2つ保持し、5年程度ごとにストレステスト済みの新しいHDDに移動する必要があります。そのは磁区とハードウェアを適度に新鮮に保つべきですが、YMMVです。

user477799 · Answer

ハードディスクドライブの寿命を延ばすことは、最小限のことで最良の結果を得ることができる問題の1つです。包装を解き、強い熱、湿気、ほこり、または放射線から離れた頑丈なプラットフォームに置きます。十分な空気循環があり、子供が誤って壊す可能性が最も低くなります。ハードディスクをアップグレードする時期が来るまで、ハードディスクの寿命は長くなります。

おそらく、消費者として、ハードディスクの寿命を延ばすためにできることはほとんどない（何もない）ということを受け入れるのは難しいでしょう。しかし、データの存続の可能性を改善する方法は確かにあります。ReFS、RAID、バックアップです。

私を信じてください、業界はハードディスクではなくデータ自体の寿命を改善することに取り組んでいます。