ハイパースレッドLinuxサーバーのコアの半分しかロードされないのはなぜですか？
私は12コアのハイパースレッドシステムであるサーバーを持っています。つまり、24の仮想コアがあります。
私はサーバー上で24のプロセスを実行しており、それぞれが独自のポートでリッスンし、異なるクライアントや異なる要求からでも同じことを実行しています。プロセスはpythonスクリプトであり、ネットワーク操作が完了するのを待っている間、並行性のためにgeventを使用して構築されました。topとhtopは、ほぼ同じCPUとメモリを使用する各プロセスを示しています。コアと同じ数のプロセスで、すべてのコアがほぼ同じようにロードされると思いますが、実際に負荷がかかっているのはコアの半分だけです（残りは最小の負荷を示しています）。
私にとってこれまで以上に奇妙なのは、それが常に同じコア、6-11と18-23であるということです。さらに、同じサーバーのうち3つがほぼ同じことを同じ負荷で実行しており、3つすべてがほぼ同じ負荷で同じコアを使用しています。なぜこれが起こるのか誰かが知っていますか？
これらのサーバーの1つからのsar出力は次のとおりです。
04:34:01 PM CPU %user %Nice %system %iowait %steal %idle
04:35:01 PM all 18.67 0.00 3.65 0.01 0.00 77.68
04:35:01 PM 0 9.24 0.00 0.76 0.00 0.00 89.99
04:35:01 PM 1 3.16 0.00 0.55 0.00 0.00 96.30
04:35:01 PM 2 1.40 0.00 0.66 0.00 0.00 97.94
04:35:01 PM 3 0.46 0.00 0.12 0.00 0.00 99.42
04:35:01 PM 4 0.15 0.00 0.12 0.00 0.00 99.73
04:35:01 PM 5 0.35 0.00 0.81 0.00 0.00 98.84
04:35:01 PM 6 44.19 0.00 10.05 0.02 0.00 45.74
04:35:01 PM 7 43.99 0.00 10.84 0.02 0.00 45.15
04:35:01 PM 8 27.00 0.00 2.57 0.09 0.00 70.33
04:35:01 PM 9 40.91 0.00 9.02 0.02 0.00 50.06
04:35:01 PM 10 41.97 0.00 10.27 0.00 0.00 47.77
04:35:01 PM 11 33.52 0.00 5.26 0.02 0.00 61.21
04:35:01 PM 12 0.53 0.00 0.10 0.00 0.00 99.37
04:35:01 PM 13 0.32 0.00 0.08 0.00 0.00 99.60
04:35:01 PM 14 0.22 0.00 0.10 0.00 0.00 99.68
04:35:01 PM 15 0.13 0.00 0.10 0.00 0.00 99.77
04:35:01 PM 16 0.12 0.00 0.05 0.00 0.00 99.83
04:35:01 PM 17 0.13 0.00 0.30 0.00 0.00 99.57
04:35:01 PM 18 16.54 0.00 1.49 0.00 0.00 81.97
04:35:01 PM 19 36.16 0.00 5.85 0.02 0.00 57.98
04:35:01 PM 20 29.22 0.00 4.97 0.10 0.00 65.71
04:35:01 PM 21 32.86 0.00 5.25 0.02 0.00 61.87
04:35:01 PM 22 43.01 0.00 9.19 0.00 0.00 47.80
04:35:01 PM 23 39.63 0.00 8.61 0.02 0.00 51.74
そして、コアの1つに対する/ proc/cpuinfoからの出力は次のとおりです。
processor : 23
vendor_id : GenuineIntel
cpu family : 6
model : 44
model name : Intel(R) Xeon(R) CPU X5675 @ 3.07GHz
stepping : 2
cpu MHz : 1600.000
cache size : 12288 KB
physical id : 1
siblings : 12
core id : 10
cpu cores : 6
apicid : 53
initial apicid : 53
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc Arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 sse4_2 popcnt lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
bogomips : 6133.17
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 48 bits virtual
power management:
これらのシステムには最大24GBのRAMもあり、そのうち4GB未満が使用されており、スワップアクティビティは表示されません。また、ディスクアクティビティはほとんどなく、これらのサーバーが行うことのほとんどすべてがネットワークにバインドされており、それぞれ約60〜80MB /秒で、単一のインターフェイスに結合されたデュアルギガビットイーサネットカードを出し入れします。
これは、ハイパースレッドサーバーであるためです。 CPUの半分は「仮想」のみです。そのため、Linuxはこれらの仮想CPUを避け、実際のCPUに集中しようとします。
システムに負荷がかかっていないため、他のシステムがより高い負荷で使用されることはわかりません。それを試して、負荷を増やしてください。違いがわかります。
ハイパースレッドコアは、完全に機能するコアとして扱われるべきではありません。これらは仮想コアであるため、物理コアのリソースの一部を共有していることを忘れないでください。高度にスレッド化され並列化されたプロセスでのハイパースレッディングサーフェスの利点。ただし、説明しているユースケースではそうではありません。私の経験では、ハイパースレッドコアは実際のコアの30〜40％のように動作するため、重要なものが実行されないようにする傾向があります。 1対1のプロセスからコアへのマッピングが必要な場合は、12個のプロセスを実際のコアにバインドするか、ハイパースレッディングまたはCPUシールドを無効にして仮想コアを完全に回避する方がよい場合があります。
何らかの形式のCPUアフィニティマッピング（taskset、cset）を使用していますか、それともLinuxに割り当てを処理させるだけですか？もしそうなら、あなたが見ているのは、仮想コアの実際のコアを好む、あなたの状況のスケジューラーの最善の使用法です。