web-dev-qa-db-ja.com

たくさんの小さなファイルのためのファイルシステム

NetAppデバイスをNASストレージとして使用しています。小さなファイル（30〜60k）とdirがたくさんあります。たとえば、30000dirと1000〜2000dirがあります。

多くのdirは空ですが、それらのほとんどには多くのファイル（30k）があります。

Ext3でブロックサイズを変更する必要がありますか？

linuxext3netappinode
1
paszczak000

NetAppをNASとして使用している場合、つまりNAS NFS、CIFS/SMB、httpなどのプロトコルを使用している場合）ファイルシステムを選択することはできません。NetAppのWAFLを使用します。ファイルシステム、変更することはできません。

NetAppを使用してiSCSI /ファイバーチャネル/ FCoEなどのブロックレベルの共有を提供している場合は、NetApp上にあるかどうかは関係ありません。すべての目的でローカルディスク上にあると見なすことができます。その場合、この種の質問は以前に多く回行われたので、検索機能を使用してください。

7
Chopper3

要件に基づいて、ReiserFSをお勧めします。ベンチマークは、ReiserFSが他のファイルシステムと比較して多数の小さなファイルで最適に動作することを示しています。 Ext3は、ブロックサイズが小さくても、シナリオに最適とは言えません。

ただし、他の回答の1つですでに述べたように、NASプロトコルを使用している場合は、ファイルシステムを選択できない可能性があります。それを使用している場合ブロックデバイスとして、 Linux File System Primer からの次の抜粋を見てください。

EXT2

  • EXT3への移行をお勧めします
  • ジャーナルされていません
  • POSIXアクセス制御

EXT3

  • 最も人気のあるLinuxファイルシステム、サイズとファイル数のスケーラビリティが制限されている
  • ジャーナリング
  • POSIX拡張アクセス制御

[〜＃〜] jfs [〜＃〜]

  • 高性能とスケーラビリティ
  • ジャーナリング
  • POSIX拡張アクセス制御

ReiserFS

  • ファイルの数が多い場合やファイルが少ない場合に最高のパフォーマンスとスケーラビリティ
  • ジャーナリング
  • POSIX拡張アクセス制御

[〜＃〜] xfs [〜＃〜]

  • 非常に大きなファイルシステム、大きなファイル、および多数のファイルに最適
  • ジャーナル（非対称並列クラスターファイルシステムバージョンも利用可能）
  • POSIX拡張アクセス制御
1
Richard Keller