web-dev-qa-db-ja.com

Nginxプロキシの応答時間が非常に遅い

最近、sslオフロード用にニスの前にnginxを追加しました。すべてのhttpリクエストをhttpsに書き換えようとしています。しかし、それからnginxによって提供されるhttp呼び出しでも応答時間が大幅に増加することがわかりました。同じ要求がnginxなしでワニスによって処理されたのに対し、応答時間ははるかに高速でした。

プロキシバッファ（2048 4k）を調整して、応答がファイルに保存されないようにし、プロキシバッファリングもオフにしました。しかし、どちらのアプローチも役に立ちませんでした。そのため、nginxサーバー（仮想マシン）を複製し、複製したサーバーに対して同じ要求を発行しました。応答時間はニスと同等でした。

したがって、nginxに負荷がかかると（約700リクエスト/秒）、応答時間が増加するようです。

誰かが私に明らかなものがないことを教えてもらえますか？

これが私のnginx設定です

#nginx.conf
worker_processes auto;

worker_rlimit_nofile 90000;

pid        /var/run/nginx.pid;

error_log /var/log/nginx/error.log error;

events {

    worker_connections 40000;

    multi_accept on;

    use epoll;
}


http {

    ##
    # Basic Settings
    ##

    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;
    types_hash_max_size 2048;
    client_max_body_size 20M;
    client_body_buffer_size 128k;
    server_tokens off;
    keepalive_requests 1000;
    reset_timedout_connection on;

    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    ##
    # SSL common settings
    ##
    include /etc/nginx/include.d/ssl-common;


    ##
    # Logging Settings
    ##

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

    log_format detailed '$remote_addr - $remote_user [$time_local] '
                '"$request" $status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" $request_length $request_time '
                '$upstream_response_length $upstream_response_time '
                '$upstream_status';

    log_format upstreamlog '[$time_local] $remote_addr - $remote_user - $server_name to: $upstream_addr: $status / upstream $upstream_status $request upstream_response_time $upstream_response_time msec $msec request_time $request_time body: $request_body';

    log_format timed_combined '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'$upstream_connect_time $upstream_header_time '
'$request_time $upstream_response_time $pipe';

    access_log off;


    ##
    # Gzip Settings
    ##

    gzip on;
    gzip_disable "msie6";

    #Proxy config

    proxy_buffering on;
    proxy_buffers 56 4k;
    proxy_busy_buffers_size 8k;

    proxy_set_header Host $Host;
    proxy_http_version 1.1;
    proxy_set_header Connection ""; 
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    ##
    # Virtual Host Configs
    ##

    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
}


#For a specific request I've increased the proxy buffer size
proxy_buffers 2048 4k;
proxy_buffer_size 4k;
proxy_busy_buffers_size 8k;


#Upstream setting
keepalive 2000;

Sysctl.configのtcp設定も最適化しましたが、それも役に立ちません。ここに私のsysctl.configがあります

#sysctl.config

fs.file-max = 100000
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 400000
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_max_syn_backlog = 65536
net.core.somaxconn = 16384
net.core.netdev_max_backlog = 16384
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
vm.min_free_kbytes = 65536

これはディスクIOのグラフです。 注：Tcp接続の統計情報最近追加したので、あまり情報がありません。

Nginx_status-リクエストと接続を示すグラフ

nginxtcpvarnish
2
Vijai Durairaj

エラーログに何かありますか？

最近、システムがすべてのリクエストをバッファリングしていて、アップストリームキープアライブが有効になっていないため、ファイルハンドルが不足するという問題がありました。しかし、これらの設定からこれらの問題が発生するとは思いませんでした。

ハードウェアの外観がわからないが、1秒あたり700 SSL要求はかなり重いです。iowaitはありますか？ cpuは使い果たされましたか？ 「keepalive_timeout 65」は、そのレベルのトラフィックでも高そうです。TCP接続が不足している可能性があります。約300リクエスト/秒の最良の結果は非常に短く、約1〜3秒ですが、負荷によって異なります。

1
Nick