環境:Ubuntu 10.04 LTS、Passenger、Nginx 1.0.6、MySQL、Ruby 1.9.2、Rails 3.1
しばらくすると、サーバーは100%のCPUでスタックするプロセスの数を徐々に増やしてしまいます。
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2393 avitus 20 0 496m 381m 1392 R 100 9.4 25:10.74 Rack: /home/web ...
スタックしたPIDのいずれかでstraceを実行すると、次のようになります。
Process 2393 attached with 3 threads - interrupt to quit
[pid 2396] futex(0x8ca80e4, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
[pid 2394] restart_syscall(<... resuming interrupted call ...>) = -1 ETIMEDOUT (Connection timed out)
[pid 2394] gettimeofday({1322590778, 346573}, NULL) = 0
[pid 2394] futex(0x821db60, FUTEX_WAKE_PRIVATE, 1) = 0
[pid 2394] clock_gettime(CLOCK_REALTIME, {1322590778, 346885177}) = 0
[pid 2394] futex(0x821db84, FUTEX_WAIT_PRIVATE, 33872659, {0, 9687823}) = -1 ETIMEDOUT (Connection timed out)
[pid 2394] gettimeofday({1322590778, 356921}, NULL) = 0
[pid 2394] futex(0x821db60, FUTEX_WAKE_PRIVATE, 1) = 0
[pid 2394] clock_gettime(CLOCK_REALTIME, {1322590778, 357196244}) = 0
[pid 2394] futex(0x821db84, FUTEX_WAIT_PRIVATE, 33872661, {0, 9724756}) = -1 ETIMEDOUT (Connection timed out)
[pid 2394] gettimeofday({1322590778, 367240}, NULL) = 0
[pid 2394] futex(0x821db60, FUTEX_WAKE_PRIVATE, 1) = 0
[pid 2394] clock_gettime(CLOCK_REALTIME, {1322590778, 367459723}) = 0
[pid 2394] futex(0x821db84, FUTEX_WAIT_PRIVATE, 33872663, {0, 9780277}) = -1 ETIMEDOUT (Connection timed out)
[pid 2394] gettimeofday({1322590778, 377586}, NULL) = 0
[pid 2394] futex(0x821db60, FUTEX_WAKE_PRIVATE, 1) = 0
[pid 2394] clock_gettime(CLOCK_REALTIME, {1322590778, 377807840}) = 0
[pid 2394] futex(0x821db84, FUTEX_WAIT_PRIVATE, 33872665, {0, 9778160}) = -1 ETIMEDOUT (Connection timed out)
[pid 2394] gettimeofday({1322590778, 387932}, NULL) = 0
[pid 2394] futex(0x821db60, FUTEX_WAKE_PRIVATE, 1) = 0
[pid 2394] clock_gettime(CLOCK_REALTIME, {1322590778, 388162450}) = 0
[pid 2394] futex(0x821db84, FUTEX_WAIT_PRIVATE, 33872667, {0, 9769550}) = -1 ETIMEDOUT (Connection timed out)
Straceに「c」フラグを含めると次のようになります。
Process 2393 attached with 3 threads - interrupt to quit
Process 2393 detached Process 2394 detached
Process 2396 detached
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
94.97 0.003172 2 1489 744 futex
3.74 0.000125 0 745 clock_gettime
1.29 0.000043 0 745 gettimeofday
0.00 0.000000 0 1 1 restart_syscall
------ ----------- ----------- --------- --------- ----------------
100.00 0.003340 2980 745 total
スタックしたプロセスを-9キルでき、アプリケーションとサーバーは問題なく実行されているように見えます。デバッグの進め方についてのアイデアが足りなくなったので、原因やその他の調査方法について誰かアドバイスがあれば聞いてみてください。
Passengerでpassenger_spawn_methodをconservativeに設定してみてください。私はMongoでこの問題を抱えており、次のことに遭遇しました。
http://code.google.com/p/phusion-passenger/issues/detail?id=684
そして:
https://github.com/Rails/rails/issues/1339
なぜそれが機能しないのかはわかりませんが、解決策をまだ理解していない場合は、うまくいけばそれでうまくいくでしょう。
その特定の動作(20ミリ秒ごとにfutexをチェックしてから時刻をチェックする)は、アイドリングRubyプロセスの通常の動作のようです: