web-dev-qa-db-ja.com

ビッグデータ+適切なファイルシステムext4またはxfsは何ですか？

Linux Redhatバージョン7.2があり、xfsファイルシステムを使用しています。

from /etc/fstab

/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1ab5c-b605-4b6f-bdf1-f1e8658fb9 /boot                   xfs     defaults        0 0
/dev/mapper/vg
/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1dc5c-b605-4a6f-bdf1-f1e869f6ffb9 /boot                   xfs     defaults        0 0
/dev/mapper/vgCLU_HDP-var /var                    xfs     defaults        0 0 var /var                    xfs     defaults        0 0

マシンはhadoopクラスターに使用されます。

この目的に最適なファイルシステムは何だと思いますか。

では、Hadoopクラスターに使用されるマシンに関して、より良いEXT4またはXFSとは何でしょうか。

linuxfilesystemsrhelext4xfs
4
yael

これは このナレッジベースの記事 で説明されています。利用可能なサポートレベルが主な考慮事項です。Ext4は最大50 TB、XFSは最大500 TBまでサポートされます。非常に大きなデータの場合、おそらく共有ストレージを参照することになります。これは、デフォルトではRHEL 7上のGFS2を意味しますが、Hadoopの場合はHDFSまたはGlusterFSを使用します。

RHELのローカルストレージの場合、デフォルトはXFSであり、特別な理由がない限り、通常はXFSを使用する必要があります。

4
Stephen Kitt

XFSは、特に大きなファイルの場合、素晴らしいファイルシステムです。ロードに多数の小さなファイルが含まれる場合、断片化を定期的にクリーンアップするとパフォーマンスが向上する場合があります。私はそれについて心配する必要はなく、すべてのロードにXFSを使用します。十分にサポートされているため、使用しない理由はありません。

典型的な作業負荷に最適なものを見つけたい場合は、さまざまなファイルシステムを独自にテストするために、マシンとディスクを用意してください。ディスク全体にわたってテスト負荷を段階的に処理すると、テスト対象のファイルシステムの動作について何かを知ることができます。

マシンで負荷をテストすることが、確認する唯一の方法です。

3
casualunixer