nginx502noliveupstreams错误处理

原因分析

1. 后端服务挂了
2. 后端应用性能达到瓶颈，比如 CPU、内存跑满，带宽跑满等
3. 后端应用响应超时
4. Nginx配置
5. 防火墙配置问题
6. HTTP 头部过大
7. DNS 配置问题

解决方法

调整 nginx 主机内核参数，增加全连接队列、半连接队列长度，提高 nginx 并发能力
配置 nginx 和后端使用长连接，使用合理的 keepalive 参数，节省 TCP 连接创建的开销，节省后端服务器端口资源
增大负载均衡策略重试次数和时间

1. 内核调优

修改 /etc/sysctl.conf，调整 Nginx 宿主机的内核配置：

fs.file-max=1024000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_fin_timeout = 30
# max SYN backlog
net.ipv4.tcp_max_syn_backlog = 4096
# max timewait sockets held by system simultaneously
net.ipv4.tcp_max_tw_buckets = 5000
# TCP receive buffer
net.ipv4.tcp_rmem = 4096 87380 67108864
# TCP write buffer
net.ipv4.tcp_wmem = 4096 65536 67108864
# turn on path MTU discovery
net.ipv4.tcp_mtu_probing = 1
# max read buffer
net.core.rmem_max = 67108864
# max write buffer
net.core.wmem_max = 67108864
# default read buffer
net.core.rmem_default = 65536
# default write buffer
net.core.wmem_default = 65536
# max processor input queue
net.core.netdev_max_backlog = 4096
# max backlog
net.core.somaxconn = 65535

net.netfilter.nf_conntrack_max=262144
net.nf_conntrack_max=262144

生效配置：

sudo sysctl -p

2. Nginx 配置

调试过程中发现，nginx 会和后端应用建立大量连接，导致系统中存在大量 TIME_WAIT 状态的连接，消耗服务器的端口资源。

参考 nignx 调优文档，发现让 nginx 和后端应用使用 keepalive 保持长连接即可，可以利用 nginx 连接池中已经创建好的连接，不用每个请求都创建新连接。

upstream s1 {
    keepalive 1024;
    
    server app1:8888 max_fails=5 fail_timeout=60s;
    server app2:8888 max_fails=5 fail_timeout=60s;
}

server {
    listen 8888;
    location / {
        proxy_pass http://s1;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
    }
}

让 nginx 和后端使用 http 1.1 协议，开启 keepalive 功能。

proxy_http_version 设置协议版本为 1.1，默认支持 keepalive；

proxy_set_header 把 Connection 头清空，以免客户端发来的头部包含 Connection: close，而意外地把长连接关闭；

keepalive 参数设置的是每个 nginx worker 可缓存的最大空闲连接数，不代表每个 worker 能创建的连接数。