web-dev-qa-db-ja.com

Linuxを使用した自家製の自動階層型ストレージソリューション(メモリ-> SSD-> HDD->リモートストレージ)

システムにSSDを使用し、データにHDDを使用することに関するこの質問 に関連していますが、システムでこれを自動的に実行したい場合を除きます...

できれば無料のオープンソースソフトウェアを使用して、複数のストレージレイヤーとそれらの間のアイテムを自動的にプッシュすることは可能ですか?

EMC SAN-> EMC Centera 自動アーカイブのような非常に高価なエンタープライズクラスのソリューションを知っていますが、このような段階的なストレージが自動的に実行できるかどうか疑問に思っていました。

これに複数のレイヤーを含めることができると便利です:メモリ-> SSD-> HDD->遅いHDDまたはテープ、またはその他のアーカイブソリューション。

これを自動的に実行できるファイルシステムはありますか?(ZFS、Btrfs、HAMMER?)

これがどのように機能するか、そしてLinuxや他のフレーバー(BSDなど)に移植できるかどうかに興味があるので、Unix-バリアントは問題ありません。

13
David Gardner

さて、ZFSは ハイブリッドストレージプール(HSP) と呼ばれるストレージレイヤーを使用します。

  1. レイヤー:メモリ
  2. レイヤー:SSDベースの読み取りキャッシュ(L2ARC)と書き込みキャッシュ(個別のインテントログ、別名slog)。
  3. レイヤー:(安価な)ハードディスク

HSPを使用すると、ハードディスクのみのソリューションと比較して、SSDの利点を自動的に活用できます。 HSPを使用するシステムは、後者よりも高速で安価です。素敵な例と詳細については このリンク を参照してください。

階層ストレージ管理(HSM) に関する計画があると思います(たとえば、 自動データ移行(ADM) OpenSolarisプロジェクトを参照してください)。状態。

14
knweiss

TIERはお客様のニーズに答えているようです。階層型ストレージを作成できるLinuxカーネルモジュールです。それ自体がパターンを学習し、ストレージへの配置を最適化しているようです

http://www.lessfs.com/wordpress/?p=776

5
Dolanor

この男が調理しているLVMベースの「lvmts」(LVM階層型ストレージ)ソリューションを確認してください。

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p114064

かなりクール。

5
Shane

いくつかの関連リンク。 YMMV。

http://code.google.com/p/fscops/ -"Online Hierarchical Storage Manager(OHSM)は、エンタープライズレベルのオープンソースデータストレージマネージャーへの最初の試みであり、データを自動的に上位に移動しますコストおよび低コストのストレージメディア。」.

http://www.tack.ch/unix/dmapi/ -LinuxでのXFS + DMAPI

http://jfs.sourceforge.net/ -LinuxでのJFS + DMAPI

1
sendmoreinfo

私が見つけたもので自分の質問に答える:

私はカーネルを更新して、追加された新しいものを見ていました 'CACHEFILES'オプションがあります =これにより、(通常はリモートの)ファイルシステムをローカルファイルシステムにキャッシュできます。これを使用して、少なくとも1つの階層レベルで、低速のストレージメカニズム(HDD)を高速なメカニズム(SSD)にキャッシュできると思います。

1
David Gardner

RAIDコントローラーは、これらの機能のいくつかを提供します。

「HDDボリュームの前にあるSSDを利用して、大容量、高性能のコントローラーキャッシュプールを作成します」

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

1
dmourati

LVM2のスナップショットが頭に浮かびます...しかし、実際には1つのスナップショット以上のものを作成することはできません。

0
dyasny

SAM-QFS はSunの既存の製品で、昨年オープンソース化されました。これはCDDLなので、* BSDに直接移植することしかできません。

0
TRS-80