场景说明
在测试环境下，模拟上万个TCP连接，在CPU及内存都充足的情况下，无法达到预期，于是对操作系统的各种限制做了些小研究，总结整理如下。
1. 文件限制
每建立一个
TCP连接，都会生成一个文件句柄，当无法创建文件时，往往会抛出emfile的错误。可通过命令
ulimit -n查看，linux下默认一般为1024，mac下则为256-
修改文件限制（基于
linux)- 打开文件
/etc/security/limits.conf - 添加或修改
nofile配置：* soft nofile 300000 * hard nofile 300000
3.重启生效
- 打开文件
2. 打开进程限制
- 如果你对进程总数量没有特殊要求，可以不修改本选项，如果你是一个高性能多进程的server，需要很多进程来处理，那么可以修改本选项。
ulimit -a里可以看到max user processes - 配置文件：
/etc/security/limits.d/20-nproc.conf（RHEL 7/CentOS 7，如果是 RHEL6.x/CentOS6.x 文件在/etc/security/limits.d/90-nproc.conf） - 添加或修改：
* soft nproc 4096 ```
3. 端口号限制
-
Unix/Linux端口为16位正整数， 范围165535；但1024以下端口需`root`，所以一般端口范围取102465535。而TCP连接往往是IP:Port，当只有一个IP时，TCP连接最大数量大约在6W
4. 网络配置
# 避免放大攻击
net.ipv4.icmp_echo_ignore_broadcasts = 1
# 开启恶意icmp错误消息保护
net.ipv4.icmp_ignore_bogus_error_responses = 1
# 开启SYN洪水攻击保护
net.ipv4.tcp_syncookies = 1
# 开启并记录欺骗，源路由和重定向包
net.ipv4.conf.all.log_martians = 1
net.ipv4.conf.default.log_martians = 1
# 处理无源路由的包
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
# 开启反向路径过滤
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
# 确保无人能修改路由表
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
# 不充当路由器
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
# 开启execshild
kernel.exec-shield = 1
kernel.randomize_va_space = 1
# IPv6设置
net.ipv6.conf.default.router_solicitations = 0
net.ipv6.conf.default.accept_ra_rtr_pref = 0
net.ipv6.conf.default.accept_ra_pinfo = 0
net.ipv6.conf.default.accept_ra_defrtr = 0
net.ipv6.conf.default.autoconf = 0
net.ipv6.conf.default.dad_transmits = 0
net.ipv6.conf.default.max_addresses = 1
# 优化LB使用的端口
# 增加系统文件描述符限制
fs.file-max = 65535
# 允许更多的PIDs (减少滚动翻转问题); may break some programs 32768
kernel.pid_max = 65536
# 增加系统IP端口限制
net.ipv4.ip_local_port_range = 2000 65000
# 增加TCP最大缓冲区大小
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_wmem = 4096 87380 8388608
# 增加Linux自动调整TCP缓冲区限制
# 最小，默认和最大可使用的字节数
# 最大值不低于4MB，如果你使用非常高的BDP路径可以设置得更高
# Tcp窗口等
net.core.rmem_max = 8388608
net.core.wmem_max = 8388608
net.core.netdev_max_backlog = 5000
net.ipv4.tcp_window_scaling = 1
- 配置好后，执行命令生效，或者重启系统
/sbin/sysctl -p /etc/sysctl.conf
/sbin/sysctl -w net.ipv4.route.flush=1
通过
sysctl -p可查看配置信息， 如果错误会出现error信息-
补充：
- 当主动断开
TCP连接时，服务端会存在过多处于TIME_WAIT状态的socket，会影响服务器的处理能力。 - 优化配置：
- 当主动断开
# 开启重用，将TIME_WAIT的socket重新用于连接
net.ipv4.tcp_tw_reuse = 1
# 开启TCP连接中TIME_WAIT的socket快速回收
net.ipv4.tcp_tw_recycle = 1
# 修改系统默认的TIMEOUT时间
net.ipv4.tcp_fin_timeout = 30
