今朝、FreeNAS 9.3マシンで「スペースが足りません」という警告を受けました
warning: The capacity for the volume 'SeanVolume' is currently at 85%, while the recommended value is below 80%.
しばらくしてからscrub
コマンドを実行しても無駄です。
SSHを使用してFreeNASホストにログインし、いくつかの情報を入手しました:
[root@freenas] ~# zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
SeanVolume 21.8T 18.6T 3.16T - 38% 85% 1.00x ONLINE /mnt
freenas-boot 111G 680M 110G - - 0% 1.00x ONLINE -
ALLOCスペースは18.6Tの容量であることが示されていますが、du -sh
コマンドによって6.7Tがまだありました。
[root@freenas] ~# du -sh /mnt/SeanVolume/
6.7T /mnt/SeanVolume/
追加情報:
[root@freenas] ~# zpool status
pool: SeanVolume
state: ONLINE
scan: scrub repaired 0 in 20h32m with 0 errors on Thu Jul 16 07:48:34 2015
config:
NAME STATE READ WRITE CKSUM
SeanVolume ONLINE 0 0 0
raidz3-0 ONLINE 0 0 0
gptid/f4986ea8-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/f51a05f7-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/f595d78e-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/f62490d4-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/f6a8e41e-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/f7266471-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/f7f3bf28-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/f8b8fa7b-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
cache
gptid/f901ec00-f822-11e4-a7d4-d05099265144 ONLINE 0 0 0
gptid/dfa53351-1baa-11e5-ba0e-d05099265144 ONLINE 0 0 0
errors: No known data errors
df -TH
コマンドの結果:
[root@freenas] ~# df -TH
Filesystem Type Size Used Avail Capacity Mounted on
freenas-boot/ROOT/default zfs 115G 698M 114G 1% /
devfs devfs 1.0k 1.0k 0B 100% /dev
tmpfs tmpfs 33M 5.5M 28M 16% /etc
tmpfs tmpfs 4.2M 8.2k 4.2M 0% /mnt
tmpfs tmpfs 11G 67M 11G 1% /var
freenas-boot/grub zfs 114G 8.1M 114G 0% /boot/grub
SeanVolume zfs 1.6T 822k 1.6T 0% /mnt/SeanVolume
SeanVolume/CandyDataset zfs 1.6T 299k 1.6T 0% /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Applications zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/CandyDataset/Applications
SeanVolume/CandyDataset/Documents zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/CandyDataset/Documents
SeanVolume/CandyDataset/Downloads zfs 2.9T 1.3T 1.6T 46% /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Music zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/CandyDataset/Music
SeanVolume/CandyDataset/Pictures zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/CandyDataset/Pictures
SeanVolume/CandyDataset/Temporary zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/CandyDataset/Temporary
SeanVolume/CandyDataset/Videos zfs 1.8T 221G 1.6T 12% /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset zfs 1.6T 243k 1.6T 0% /mnt/SeanVolume/PublicDataset
SeanVolume/PublicDataset/Applications zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/PublicDataset/Applications
SeanVolume/PublicDataset/Documents zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/PublicDataset/Documents
SeanVolume/PublicDataset/Downloads zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/PublicDataset/Downloads
SeanVolume/PublicDataset/Music zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/PublicDataset/Music
SeanVolume/PublicDataset/Pictures zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/PublicDataset/Pictures
SeanVolume/PublicDataset/Temporary zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/PublicDataset/Temporary
SeanVolume/PublicDataset/Videos zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/PublicDataset/Videos
SeanVolume/SeanDataset zfs 3.9T 2.3T 1.6T 60% /mnt/SeanVolume/SeanDataset
SeanVolume/SeanDataset/AppData zfs 1.6T 224k 1.6T 0% /mnt/SeanVolume/SeanDataset/AppData
SeanVolume/SeanDataset/Applications zfs 1.6T 261k 1.6T 0% /mnt/SeanVolume/SeanDataset/Applications
SeanVolume/SeanDataset/Documents zfs 3.0T 1.5T 1.6T 48% /mnt/SeanVolume/SeanDataset/Documents
SeanVolume/SeanDataset/Downloads zfs 2.2T 647G 1.6T 29% /mnt/SeanVolume/SeanDataset/Downloads
SeanVolume/SeanDataset/Music zfs 1.6T 411k 1.6T 0% /mnt/SeanVolume/SeanDataset/Music
SeanVolume/SeanDataset/Pictures zfs 1.6T 2.2M 1.6T 0% /mnt/SeanVolume/SeanDataset/Pictures
SeanVolume/SeanDataset/Saved Games zfs 1.6T 243k 1.6T 0% /mnt/SeanVolume/SeanDataset/Saved Games
SeanVolume/SeanDataset/Temporary zfs 1.6T 533k 1.6T 0% /mnt/SeanVolume/SeanDataset/Temporary
SeanVolume/SeanDataset/Videos zfs 2.4T 850G 1.6T 35% /mnt/SeanVolume/SeanDataset/Videos
SeanVolume/jails zfs 1.6T 710M 1.6T 0% /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail zfs 1.6T 619M 1.6T 0% /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3 zfs 1.6T 619M 1.6T 0% /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/pluginjail zfs 1.6T 660M 1.6T 0% /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset zfs 1.8T 259G 1.6T 14% /mnt/SeanVolume/ownCloudDataset
SeanVolume/.system zfs 1.6T 3.4M 1.6T 0% /var/db/system
SeanVolume/.system/cores zfs 1.6T 1.4M 1.6T 0% /var/db/system/cores
SeanVolume/.system/samba4 zfs 1.6T 6M 1.6T 0% /var/db/system/samba4
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261 zfs 1.6T 6M 1.6T 0% /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261 zfs 1.6T 224k 1.6T 0% /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261
devfs devfs 1.0k 1.0k 0B 100% /mnt/SeanVolume/jails/pluginjail/dev
procfs procfs 4.1k 4.1k 0B 100% /mnt/SeanVolume/jails/pluginjail/proc
SeanVolume/jails/customplugin_2 zfs 1.6T 1.4G 1.6T 0% /mnt/SeanVolume/jails/customplugin_2
SeanVolume/SeanDataset/ISOImage zfs 1.6T 318k 1.6T 0% /mnt/SeanVolume/SeanDataset/ISOImage
devfs devfs 1.0k 1.0k 0B 100% /mnt/SeanVolume/jails/customplugin_2/dev
procfs procfs 4.1k 4.1k 0B 100% /mnt/SeanVolume/jails/customplugin_2/proc
/mnt/SeanVolume/ownCloudDataset nullfs 1.8T 259G 1.6T 14% /mnt/SeanVolume/jails/customplugin_2/media
スクラブステータスの実行(Web GUI):
Scrub status: Completed
Errors: 0 Repaired: 0 Date: Thu Jul 16 07:48:34 2015
これを修正するために何ができますか(ownCloudプラグインがオンラインで実行されているため、再起動を除く)?
PS:2015/07/17追加:
[root@freenas] ~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
SeanVolume 10.7T 1.34T 803K /mnt/SeanVolume
SeanVolume/.system 304M 1.34T 3.21M legacy
SeanVolume/.system/cores 5.53M 1.34T 1.32M legacy
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261 219K 1.34T 219K legacy
SeanVolume/.system/samba4 218M 1.34T 5.59M legacy
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261 61.4M 1.34T 5.62M legacy
SeanVolume/CandyDataset 1.42T 1.34T 292K /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Applications 365K 1.34T 219K /mnt/SeanVolume/CandyDataset/Applications
SeanVolume/CandyDataset/Documents 365K 1.34T 219K /mnt/SeanVolume/CandyDataset/Documents
SeanVolume/CandyDataset/Downloads 1.22T 1.34T 1.22T /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Music 365K 1.34T 219K /mnt/SeanVolume/CandyDataset/Music
SeanVolume/CandyDataset/Pictures 365K 1.34T 219K /mnt/SeanVolume/CandyDataset/Pictures
SeanVolume/CandyDataset/Temporary 365K 1.34T 219K /mnt/SeanVolume/CandyDataset/Temporary
SeanVolume/CandyDataset/Videos 206G 1.34T 206G /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset 3.03M 1.34T 237K /mnt/SeanVolume/PublicDataset
SeanVolume/PublicDataset/Applications 365K 1.34T 219K /mnt/SeanVolume/PublicDataset/Applications
SeanVolume/PublicDataset/Documents 365K 1.34T 219K /mnt/SeanVolume/PublicDataset/Documents
SeanVolume/PublicDataset/Downloads 365K 1.34T 219K /mnt/SeanVolume/PublicDataset/Downloads
SeanVolume/PublicDataset/Music 365K 1.34T 219K /mnt/SeanVolume/PublicDataset/Music
SeanVolume/PublicDataset/Pictures 365K 1.34T 219K /mnt/SeanVolume/PublicDataset/Pictures
SeanVolume/PublicDataset/Temporary 365K 1.34T 219K /mnt/SeanVolume/PublicDataset/Temporary
SeanVolume/PublicDataset/Videos 365K 1.34T 219K /mnt/SeanVolume/PublicDataset/Videos
SeanVolume/SeanDataset 8.04T 1.34T 2.14T /mnt/SeanVolume/SeanDataset
SeanVolume/SeanDataset/AppData 2.64M 1.34T 219K /mnt/SeanVolume/SeanDataset/AppData
SeanVolume/SeanDataset/Applications 178G 1.34T 256K /mnt/SeanVolume/SeanDataset/Applications
SeanVolume/SeanDataset/Documents 2.58T 1.34T 1.33T /mnt/SeanVolume/SeanDataset/Documents
SeanVolume/SeanDataset/Downloads 1.07T 1.34T 661G /mnt/SeanVolume/SeanDataset/Downloads
SeanVolume/SeanDataset/ISOImage 103G 1.34T 310K /mnt/SeanVolume/SeanDataset/ISOImage
SeanVolume/SeanDataset/Music 51.7G 1.34T 402K /mnt/SeanVolume/SeanDataset/Music
SeanVolume/SeanDataset/Pictures 131G 1.34T 2.08M /mnt/SeanVolume/SeanDataset/Pictures
SeanVolume/SeanDataset/Saved Games 75.7G 1.34T 237K /mnt/SeanVolume/SeanDataset/Saved Games
SeanVolume/SeanDataset/Temporary 9.63G 1.34T 520K /mnt/SeanVolume/SeanDataset/Temporary
SeanVolume/SeanDataset/Videos 846G 1.34T 792G /mnt/SeanVolume/SeanDataset/Videos
SeanVolume/jails 3.80G 1.34T 678M /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail 6.33M 1.34T 591M /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3 597M 1.34T 591M /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/customplugin_2 1.17G 1.34T 1.27G /mnt/SeanVolume/jails/customplugin_2
SeanVolume/jails/pluginjail 1.28G 1.34T 630M /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset 1.21T 1.34T 255G /mnt/SeanVolume/ownCloudDataset
freenas-boot 680M 107G 144K none
freenas-boot/ROOT 670M 107G 144K none
freenas-boot/ROOT/Initial-Install 8K 107G 659M legacy
freenas-boot/ROOT/default 670M 107G 665M legacy
freenas-boot/grub 7.76M 107G 7.76M legacy
2015/07/17追加:
zfs list -t snapshot
コマンドを使用した後は、多数の小さなスナップショット(合計2,534ファイル...)が表示されます。
確認して、それらのスナップショットファイルを削除します。
削除後、再度df -TH
を実行してください!
2015/07/20追加:
多くのスナップショットファイルを削除した後、空き領域ができました!
だが...
FreeNAS 9.3 Web GUIがクラッシュしました...
多数のスナップショット(約1500)を消去した後、FreeNAS 9.3 Web GUIに「エラーが発生しました。」と表示されます
[root@freenas] /etc/defaults# df -TH
Filesystem Type Size Used Avail Capacity Mounted on
freenas-boot/ROOT/default zfs 115G 698M 114G 1% /
devfs devfs 1.0k 1.0k 0B 100% /dev
tmpfs tmpfs 33M 5.5M 28M 16% /etc
tmpfs tmpfs 4.2M 8.2k 4.2M 0% /mnt
tmpfs tmpfs 11G 67M 11G 1% /var
freenas-boot/grub zfs 114G 8.1M 114G 0% /boot/grub
SeanVolume zfs 4T 822k 4T 0% /mnt/SeanVolume
SeanVolume/CandyDataset zfs 4T 299k 4T 0% /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Downloads zfs 5.3T 1.3T 4T 25% /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Videos zfs 4.2T 221G 4T 5% /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset zfs 4T 224k 4T 0% /mnt/SeanVolume/PublicDataset
SeanVolume/SeanDataset zfs 9.6T 5.6T 4T 59% /mnt/SeanVolume/SeanDataset
SeanVolume/jails zfs 4T 710M 4T 0% /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail zfs 4T 619M 4T 0% /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3 zfs 4T 619M 4T 0% /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/pluginjail zfs 4T 661M 4T 0% /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset zfs 4.3T 336G 4T 8% /mnt/SeanVolume/ownCloudDataset
SeanVolume/.system zfs 4T 3.4M 4T 0% /var/db/system
SeanVolume/.system/cores zfs 4T 1.4M 4T 0% /var/db/system/cores
SeanVolume/.system/samba4 zfs 4T 6.1M 4T 0% /var/db/system/samba4
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261 zfs 4T 11M 4T 0% /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261 zfs 4T 224k 4T 0% /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261
devfs devfs 1.0k 1.0k 0B 100% /mnt/SeanVolume/jails/pluginjail/dev
procfs procfs 4.1k 4.1k 0B 100% /mnt/SeanVolume/jails/pluginjail/proc
SeanVolume/jails/customplugin_2 zfs 4T 1.4G 4T 0% /mnt/SeanVolume/jails/customplugin_2
devfs devfs 1.0k 1.0k 0B 100% /mnt/SeanVolume/jails/customplugin_2/dev
procfs procfs 4.1k 4.1k 0B 100% /mnt/SeanVolume/jails/customplugin_2/proc
/mnt/SeanVolume/ownCloudDataset nullfs 4.3T 336G 4T 8% /mnt/SeanVolume/jails/customplugin_2/media
私は与えられた情報を要約し、いくつかの説明を与えようとします(私が知っている場合、それが何を意味するか):
zpool listの出力について:
SIZEは、冗長性に使用されるディスクを含むすべてのディスクのサイズです(つまり、zpool statusの出力と一緒に、 RAID-Z3構成で8つの3TBドライブをまとめました)
ALLOCは使用済みスペースであり、冗長性に使用されるディスクも含まれます(したがって、8つのディスクのうち3つは実際のデータサイズよりも(5 + 3)/ 5 = 1,6倍大きくなります。冗長性に使用)
空き容量は空き容量であり、冗長性に使用されるディスクも含まれます(したがって、使用可能な空き容量は最大で5 /(5 + 3)= 0,625表示されている空きサイズです)
zfs listコマンドは、1,34Tが使用可能である、zpool listは3,16Tの空き容量から、約1,975Tと予想される冗長スペースを差し引いたものです。
知っています。zfsにはメタデータ用にある程度のスペースが必要ですが、RAID-Z1に2 TBドライブが4つあるLinuxシステムでは、差は約6%で、ここでの差は約47%です。違いは由来します。
df -Thの出力について
dfはzfsスナップショットを見つけられないため、それらを計算できません。そのため、使用されるスペースはzfsファイルシステムで使用されるスペースではありません。 zfsファイルシステムに割り当てられたスペースについては、zfs listを使用します
スナップショットを削除すると、わかったように時間がかかる場合があります。これは仕様によるものであると思われます。詳しくは http://nex7.blogspot.de/2013/03/readme1st.html をご覧ください。 =
スナップショットを削除した後、df出力をカウントすると、プールに約7,2Tのデータがあり、約4Tが空き、すべてが11,2Tになります。
完全なサイズ(21,8T)から冗長ディスクを差し引いた場合、約5 /(5 + 3)* 21,8T = 13,6T(約20%の差)になると予想します
zfsが必要とするメタデータの20%は少し多めだと思いますが、どこで失われるのかはわかりません。非常に多くの非常に小さなファイルがあり、それほど多くの大きなファイルよりも多くのメタデータ領域を使用している可能性があります。
申し訳ありませんが、zfsの内部はそれほど深くないので、メタデータのスペース使用量を取得する場所を教えてくれます。
zfs listを再試行して、そこの使用済みスペースをdfから取得した使用済みスペースと比較できます。ヒントかもしれません。
2015年7月21日編集
サイズについて:3Tドライブの実際の容量は2,7 TiBです(ドライブの製造元が1TB = 1.000.000.000.000バイトを使用しているため、1TiBを使用するコンピューター= 1 * 1024 * 1024 * 1024 * 1024 = 1.099です。 511.627.776バイト。
2,7 * 8ドライブ= 21,8T
通常のRAIDシステムでは、最小のドライブが、大きいドライブの使用可能なサイズを決定します。