ビデオと画像データの費用対効果の高い、長期アーカイブ？ 〜50 TB
私のラボでは、現在私たちのグループが取り組んでいるプロジェクトのデータ（主にビデオと画像のデータ、およびいくつかのドキュメント）を保持する小さなサーバーをセットアップ中です。歴史的に、研究プロジェクトが終了した後、データは無計画に1つのハードドライブ、またはDVD（または昔のCD）の大きな山にアーカイブされ、ビデオの一部はSonyDVカセットまたはさらにはVHSテープ（このラボは90年代初頭から活動しています）、OR上記すべての混合...
質問：（1）それらをすべて同じ形式とストレージメディアに統合するための最良の方法は何ですか？（2）非常に不定期のアクセス（たとえば、30年以上）のためにそのようなデータの長期アーカイブに最適なメディアは何ですか？残念ながら、エンタープライズレベルの予算がないため（10人程度のラボです）、数十万ドルの費用がかかることはできません。
ありがとう！
追伸古いビデオと画像は解像度が小さいですが、最近のものは巨大であることを考えると、30〜40について話していると思いますTB本当に古いデータの場合、別の10〜20 TB、その後は毎年約5TB追加されます。
残念ながら、あなたにとって最善の方法はありません。デジタルメディアの30年間のアーカイブは非常に困難な問題であり、定期的な投資が必要です。 30年以内に読み取り可能であることが保証されているフォーマットは、ビデオフォーマットではないASCIIとUTF8のみです。ストレージフォーマットが変更され、30年前に使用していた8トラックのオープンリールテープデータがまだテープ上にあるにもかかわらず、最近は読むことがほぼ不可能です（NASAが40年前のテープドライブを再構築して、新しく回復/発見されたApolloデータテープを取得するという興味深い話があります）。最善の策はコミットすることです。定期的に、5年ごとに、古い形式を新しい形式に変換するのに十分な予算でアーカイブ環境を評価します。
あなたはおそらく私よりもよく知っていますが、ビデオの風景は急速に変化しています。リアルタイムのオンライン編集が可能になりました。10年前でも真剣に優れたキットでしか実行できませんでした。 30年後に物事がどのように見えるか誰が知っていますか。
- アーカイブウィンドウを5年間設定します。
- 短期的には、大容量のストレージアレイで十分です（
- 大きくて遅い50TBのディスクは70,000ドル以下、おそらくそれ以下で入手できます。
- LTO5テープドライブと50本のテープ（50TBをはるかに超える価値）は、15,000ドル未満で入手できます。
- 短期的には、大容量のストレージアレイで十分です（
- ビデオをどの形式で保存するかはあなた次第です。
- 古いものをすべて見つけて、この新しいストレージに変換し始めます。
- 5年の終わりに、アーカイブ環境をもう一度完全に評価します。
- どのフォーマットを使用していますか？
- 新しいフォーマットとは何ですか？
- どのコーデックが行き止まりになっているように見えますか？また、どのメディアをそのようにエンコードして保存しましたか？
- 新しいストレージ方法（データ形式、ディスク/テープ/その他）に移行する方法を決定し、適切に使用します。
- 6回繰り返します。
それはあなたを30年にするはずです。
Sysadmin1138の投稿にはすべての点でまったく同意しますが、1つ注意点があります-本当に希望どおりの成果を達成するための予算はないと思います。
作成する必要のある5つの主な関数があります。
- 標準化されたコンテンツとカタログポリシー-すべてを1つの形式で保存したいのですが、実際には2つを検討する必要があります-PDF画像用とH.264ビデオ用-どちらも長期サポートですマルチプラットフォームコードを含むフォーマットは、世界中の既存の使用法のためだけに、現在の形式で25〜50年間、いずれかの当事者によってほぼ確実にサポートされます。
- コンテンツにインデックスを付けて公開するためのカタログまたはCMS。
- 「コンテンツ取り込み」システム-これにより、すべてのメディア、パッケージ、エンコード、保存、および新しいコンテンツのカタログの更新が行われます。手動または自動のコンテンツ品質チェックも実施する必要があります。
- プライマリコンテンツストア-これには2つのメインストレージブロックがあります。トランスコード/チェック中にOriginコンテンツを保持するための小さなブロックと、コンテンツを「近く」に保持するためのはるかに大きなブロック。これは私が遭遇したRAID 6の唯一の有効な用途の1つですが、ここでは24x365の「デューティサイクル」を持つエンタープライズ品質のディスクを使用してみてください。
- 長期バックアップシステム-これは実際のお金が使われる場所です。真に長期バックアップ機能を提供するベンダーを選択する必要があります。私が今これを行っていたとしても、データ寿命の理由から純粋にテープオーバーディスクを使用します。おそらくIBMがこの分野で多くの経験を持っているためです。また、定期的なテープの復元とデータの検証も行う必要があることを考慮する必要があります。つまり、少なくとも最大のテープと同じ大きさの3番目のストレージブロックが必要になります。もちろん、システムも検証する必要があります。それに加えて、使用するバックアップソフトウェアが長期間使用できることを確認する必要があります。* nixのTARなどは、しばらくの間使用される可能性がありますが、機能的には望みどおりに機能しない可能性があります。これがテープベンダーによって見落とされていないことを確認してください。
ですから、あなたがやりたいことはできるのです。私は過去20年ほどの間に何度も自分でやったことがありますが、安いものはありませんでした。
幸運を。
他の人はあなたのメディアをバックアップする方法について良いアドバイスをしました。議会のガイドラインのライブラリーを見て、質の高い時間を過ごすことをお勧めします。
http://www.digitalpreservation.gov/formats/index.shtml
安価なホワイトボックスZFSアレイの構築を検討することもできます。おそらく、1万ドル未満のニーズに合わせて何かをすることができます。ドライブが停止したら、それらをより大きなドライブに交換します。これにより、データを生成するにつれてストレージ容量が増加します。それはおそらくあなたをかなり長い間続けるでしょう、そしてあなたはそれが古くなったときにそれをより大容量のデバイスと交換することができます。利点は、データがオンラインであり（必要に応じてアクセスできる）、ビットロットから比較的よく保護されていることです。これだけのデータがある場合は深刻な問題になります。
まともなビルドオプションがここにまとめられました。
技術者にとっては難しいことですが、ディスクとテクノロジーについての考えをすぐにやめることをお勧めします。ビジネス上の問題を、決定を下さなければならないものに分割します。
例：
- アナログ/その他のデジタルテープ形式を、ある種のデジタルストレージに保存できるデジタルメディアに変換する方法を教えてください。
- コンテンツと関連するメタデータをどのように管理しますか？保管は簡単です。すべてをLTOテープに入れて古い岩塩坑に保管することはできますが、データにアクセスすることはできません。
- 車輪の再発明をしていますか？大学にいる場合、コンテンツ管理のソリューションを一元的に利用できますか？または、独自のコンテンツ管理を購入/構築する必要がある場合、一部を購入できる一元化されたインフラストラクチャはありますか？ （テープ、オブジェクトストレージ、SAN）
- 実際のビジネス要件は何ですか？本当に何を維持したいのですか、そしてその理由は何ですか？多くの場合、問題の核心を深く掘り下げた場合、実際の長期保存要件は、実際にはデータのごく一部にのみ適用されます。
おそらく私が見逃しているものがあるかもしれませんが、コーデックのソースコードが利用可能なオープンフォーマットを使用してすべてをエンコードして、それをすべてAmazon S3に貼り付けることはできませんか？
そうすれば、Amazonはデータの実際のストレージについて心配する必要があり、30年後にC/C++をコンパイルできるコンピューターがない限り、情報を入手することができます...
データを不可逆形式で保存してから、別の不可逆形式に変換してから別の形式に変換すると、遷移ごとにビデオ品質が低下することに注意してください。
以下はオーディオについて話していますが、同じことが一般的に当てはまります。
任意のオーディオ形式をOgg Vorbisに変換できます。ただし、MP3などのある損失の多い形式からVorbisなどの別の損失のある形式に変換することは、一般的に悪い考えです。 MP3とVorbisの両方のエンコーダーは、おそらく聞こえないオーディオ波形の一部を捨てることにより、高い圧縮率を実現します。ただし、MP3コーデックとVorbisコーデックは非常に異なるため、重複は確かにありますが、それぞれがオーディオの異なる部分を破棄します。 MP3をVorbisに変換するには、MP3ファイルをWAVなどの非圧縮形式にデコードし、Ogg Vorbisエンコーダーを使用して再圧縮する必要があります。デコードされたMP3には、MP3エンコーダーが破棄することを選択した元のオーディオの部分がありません。 Ogg Vorbisエンコーダーは、データを圧縮するときに他のオーディオコンポーネントを破棄します。せいぜい、結果は元のMP3と同じように聞こえるOggファイルになりますが、結果のファイルは元のMP3よりも悪い音になる可能性があります。いかなる場合でも、元のMP3よりも優れたサウンドのファイルを取得することはできません。
多くの音楽プレーヤーはMP3ファイルとOggファイルの両方を再生できるため、すべてのファイルをいずれかの形式に切り替える必要がある理由はありません。 Ogg Vorbisが気に入った場合は、元のロスレスオーディオソース（CDなど）からエンコードするときに使用することをお勧めします。オリジナルからエンコードする場合、MP3よりも小さいか高品質（またはその両方）のOggファイルを作成できることがわかります。
（どうしてもMP3からOggに変換する必要がある場合は、Freshmeatで利用できる変換スクリプトがいくつかあります。）
http://www.vorbis.com/faq/#transcode
したがって、損失のない形式を1つ選択すると、それで行き詰まってしまうため、損失のない形式を選択するのがおそらく最善です。