最近、sslオフロード用にニスの前にnginxを追加しました。すべてのhttpリクエストをhttpsに書き換えようとしています。しかし、それからnginxによって提供されるhttp呼び出しでも応答時間が大幅に増加することがわかりました。同じ要求がnginxなしでワニスによって処理されたのに対し、応答時間ははるかに高速でした。
プロキシバッファ(2048 4k)を調整して、応答がファイルに保存されないようにし、プロキシバッファリングもオフにしました。しかし、どちらのアプローチも役に立ちませんでした。そのため、nginxサーバー(仮想マシン)を複製し、複製したサーバーに対して同じ要求を発行しました。応答時間はニスと同等でした。
したがって、nginxに負荷がかかると(約700リクエスト/秒)、応答時間が増加するようです。
誰かが私に明らかなものがないことを教えてもらえますか?
これが私のnginx設定です
#nginx.conf
worker_processes auto;
worker_rlimit_nofile 90000;
pid /var/run/nginx.pid;
error_log /var/log/nginx/error.log error;
events {
worker_connections 40000;
multi_accept on;
use epoll;
}
http {
##
# Basic Settings
##
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
client_max_body_size 20M;
client_body_buffer_size 128k;
server_tokens off;
keepalive_requests 1000;
reset_timedout_connection on;
include /etc/nginx/mime.types;
default_type application/octet-stream;
##
# SSL common settings
##
include /etc/nginx/include.d/ssl-common;
##
# Logging Settings
##
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format detailed '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $request_length $request_time '
'$upstream_response_length $upstream_response_time '
'$upstream_status';
log_format upstreamlog '[$time_local] $remote_addr - $remote_user - $server_name to: $upstream_addr: $status / upstream $upstream_status $request upstream_response_time $upstream_response_time msec $msec request_time $request_time body: $request_body';
log_format timed_combined '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'$upstream_connect_time $upstream_header_time '
'$request_time $upstream_response_time $pipe';
access_log off;
##
# Gzip Settings
##
gzip on;
gzip_disable "msie6";
#Proxy config
proxy_buffering on;
proxy_buffers 56 4k;
proxy_busy_buffers_size 8k;
proxy_set_header Host $Host;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
##
# Virtual Host Configs
##
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
}
#For a specific request I've increased the proxy buffer size
proxy_buffers 2048 4k;
proxy_buffer_size 4k;
proxy_busy_buffers_size 8k;
#Upstream setting
keepalive 2000;
Sysctl.configのtcp設定も最適化しましたが、それも役に立ちません。ここに私のsysctl.configがあります
#sysctl.config
fs.file-max = 100000
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 400000
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_max_syn_backlog = 65536
net.core.somaxconn = 16384
net.core.netdev_max_backlog = 16384
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
vm.min_free_kbytes = 65536
これはディスクIOのグラフです。 注:Tcp接続の統計情報最近追加したので、あまり情報がありません。
エラーログに何かありますか?
最近、システムがすべてのリクエストをバッファリングしていて、アップストリームキープアライブが有効になっていないため、ファイルハンドルが不足するという問題がありました。しかし、これらの設定からこれらの問題が発生するとは思いませんでした。
ハードウェアの外観がわからないが、1秒あたり700 SSL要求はかなり重いです。iowaitはありますか? cpuは使い果たされましたか? 「keepalive_timeout 65」は、そのレベルのトラフィックでも高そうです。TCP接続が不足している可能性があります。約300リクエスト/秒の最良の結果は非常に短く、約1〜3秒ですが、負荷によって異なります。