Solaris 10 ZFSARCが最大になりCPUが過負荷になっている
32個のCPUコアと256GBのメモリを搭載したOracleM5000Enterpriseサーバー上のSolaris10でZFSを数年間実行しています。このサーバーでデータベース/アプリケーションを実行していますが、読み取り量が多いようです。
UFSの使用中にI/Oの問題が発生しましたが、これはZFSに切り替えることで解決されました。ファイバーチャネルを介してディスクを表示し、単一のLUN上のOSレベルでZFSを使用してフォーマットしたNetAppストレージユニットがあります。最初はアプリケーションメモリに問題があり、ARCサイズを128GBのメモリに制限する必要がありました。
今私たちが見始めた問題は、ARCが限界に達しているということです。この間、CPUは0％のアイドル時間で過負荷になることがあります。アプリケーションプロセスが停止し、自動化されたプロセスが相互に実行を開始します。
私はしばらくの間この問題を調査していて、もっと大きなマシンが必要だと信じている、またはベンダーにコードを最適化してもらうために、さまざまな情報源に相談しました。 M10-4の購入を検討しており、アプリケーションベンダーと協力してきましたが、何か他のことが起こっているのではないかと思います。
何か助けていただければ幸いです。さらに情報が必要な場合はお知らせください。
以下はarc_summary.plからの出力です
System Memory:
Physical RAM: 257614 MB
Free Memory : 79033 MB
LotsFree: 4022 MB
ZFS Tunables (/etc/system):
set zfs:zfs_arc_max = 137438953472
ARC Size:
Current Size: 131043 MB (arcsize)
Target Size (Adaptive): 131072 MB (c)
Min Size (Hard Limit): 64 MB (zfs_arc_min)
Max Size (Hard Limit): 131072 MB (zfs_arc_max)
ARC Size Breakdown:
Most Recently Used Cache Size: 6% 8190 MB (p)
Most Frequently Used Cache Size: 93% 122881 MB (c-p)
ARC Efficency:
Cache Access Total: 217693264863
Cache Hit Ratio: 99% 217640359356 [Defined State for buffer]
Cache Miss Ratio: 0% 52905507 [Undefined State for Buffer]
REAL Hit Ratio: 67% 146336547931 [MRU/MFU Hits Only]
Data Demand Efficiency: 99%
Data Prefetch Efficiency: 96%
CACHE HITS BY CACHE LIST:
Anon: 32% 71281340234 [ New Customer, First Cache Hit ]
Most Recently Used: 0% 172508676 (mru) [ Return Customer ]
Most Frequently Used: 67% 146164039255 (mfu) [ Frequent Customer ]
Most Recently Used Ghost: 0% 3430197 (mru_ghost) [ Return Customer Evicted, Now Back ]
Most Frequently Used Ghost: 0% 19040994 (mfu_ghost) [ Frequent Customer Evicted, Now Back ]
CACHE HITS BY DATA TYPE:
Demand Data: 62% 136382108166
Prefetch Data: 0% 1145425065
Demand Metadata: 4% 9980846285
Prefetch Metadata: 32% 70131979840
CACHE MISSES BY DATA TYPE:
Demand Data: 19% 10410690
Prefetch Data: 72% 38324623
Demand Metadata: 1% 874219
Prefetch Metadata: 6% 3295975
以下はvmstatからの出力です。
# vmstat 5
kthr memory page disk faults cpu
r b w swap free re mf pi po fr de sr m1 m1 m1 m1 in sy cs us sy id
0 0 0 40892888 93939912 256 1411 165 26 26 0 0 8 1 2 0 5651 274471 42913 2 5 93
0 0 0 22113320 81957648 118 1324 3 0 0 0 0 0 0 0 0 5631 313043 58903 2 35 63
0 0 0 22145624 81977312 353 459 0 746 746 0 0 145 0 0 0 5177 379709 58255 2 33 65
0 0 0 22150976 81982088 120 1329 0 0 0 0 0 1 0 0 0 5200 314711 59490 2 33 65
0 0 0 22147600 81981680 504 1834 0 8 5 0 0 5 0 0 0 5197 334201 58339 2 32 66
0 0 0 22146160 81982544 715 610 0 5 3 0 0 2 0 0 0 6296 364301 58900 2 35 63
0 0 0 22116584 81960496 678 1928 0 3 3 0 0 1 0 0 0 5178 351160 58947 2 34 64
1 0 0 22107080 81949528 95 1095 0 0 0 0 0 0 0 0 0 4531 309206 58450 2 35 63
以下は、zpooliostatからの出力です。
# zpool iostat ntapdatatel 5
capacity operations bandwidth
pool alloc free read write read write
----------- ----- ----- ----- ----- ----- -----
ntapdatatel 1.07T 437G 10 13 1.07M 1.01M
ntapdatatel 1.07T 437G 0 0 51.2K 4.00K
ntapdatatel 1.07T 437G 0 0 0 0
ntapdatatel 1.07T 437G 0 95 0 6.47M
ntapdatatel 1.07T 437G 0 0 0 0
ntapdatatel 1.07T 437G 0 0 0 0
ntapdatatel 1.07T 437G 0 0 0 0
ntapdatatel 1.07T 437G 0 0 0 0
ntapdatatel 1.07T 437G 0 0 25.6K 0
ntapdatatel 1.07T 437G 0 87 0 5.16M
およびファイルシステムのプロパティ：
NAME PROPERTY VALUE SOURCE
ntapdatatel type filesystem -
ntapdatatel creation Sun Oct 28 17:09 2012 -
ntapdatatel used 1.07T -
ntapdatatel available 413G -
ntapdatatel referenced 432G -
ntapdatatel compressratio 1.00x -
ntapdatatel mounted yes -
ntapdatatel quota none default
ntapdatatel reservation none default
ntapdatatel recordsize 128K default
ntapdatatel mountpoint /ntapdatatel local
ntapdatatel sharenfs off default
ntapdatatel checksum on default
ntapdatatel compression off default
ntapdatatel atime on default
ntapdatatel devices on default
ntapdatatel exec on default
ntapdatatel setuid on default
ntapdatatel readonly off default
ntapdatatel zoned off default
ntapdatatel snapdir hidden default
ntapdatatel aclmode discard default
ntapdatatel aclinherit restricted default
ntapdatatel canmount on default
ntapdatatel shareiscsi off default
ntapdatatel xattr on default
ntapdatatel copies 1 default
ntapdatatel version 5 -
ntapdatatel utf8only off -
ntapdatatel normalization none -
ntapdatatel casesensitivity sensitive -
ntapdatatel vscan off default
ntapdatatel nbmand off default
ntapdatatel sharesmb off default
ntapdatatel refquota none default
ntapdatatel refreservation none default
ntapdatatel primarycache all default
ntapdatatel secondarycache all default
ntapdatatel usedbysnapshots 0 -
ntapdatatel usedbydataset 432G -
ntapdatatel usedbychildren 666G -
ntapdatatel usedbyrefreservation 0 -
ntapdatatel logbias latency default
ntapdatatel sync standard default
ntapdatatel rekeydate - default
ntapdatatel rstchown on default
Zfsではない可能性があります-空きメモリがたくさんあるので、この可能性を考慮してください-
echo 'pg_contig_disable/D' | mdb -k
出力が次の場合：
echo pg_contig_disable/D | mdb -k
pg_contig_disable:
pg_contig_disable: 0
ある種のNUMAの問題が発生している可能性があります。 Solaris 10は、キャッシュ効率のためにメモリのブロックを設定することにより、より高速なメモリアクセスを促進しようとします。これは、大量のメモリとOracleがある場合、説明したとおり、奇妙な状況になります。 1か月ほどの稼働時間の後、CPUユーザーの使用量は少なくなり、システムのCPU時間も長くなり、システムは停止します。長期的には、カーネルパラメータpg_contig_disableを1に設定します。
短期的な修正は再起動することです。再起動が役立つ場合は、カーネルパラメーターを設定する必要があります。これは、多くの空きメモリがあるシステムでのSolaris10の既知の問題です。
私を正しい方向に向けてくれたjimmcnamaraに感謝します。 pg_contig_disableの問題と一致する症状は見られませんでしたが、zfetchの問題が発生しました。
次のサイトで発生していたのと同じ問題が見つかりました： http://solaristalk.blogspot.com/2014_05_01_archive.html
これは、ZFSプリフェッチが私たちにとって問題であった理由を説明するOracleサイトのチューニング記事につながりました： http://docs.Oracle.com/cd/E26502_01/html/E29022/chapterzfs-4.html
重負荷時にlockstatを使用してミューテックスリストの一番上にdmu_zfetch_findが表示されていました。それ以来、ZFS実装でプリフェッチを無効にしました。今晩再起動して、すべてがクリアされ、最初からやり直すようにします。
うまくいけば、これはチケットです。それでも問題が解決しない場合は、後でpg_contig_disableを使用してテストを行うことがあります。