这篇文章主要分析的是linux及windows的socket处理，如何避免惊群及进程间负载均衡的探讨，
这里的惊群主要是指多进程对于新建的连接如何避免同时争用accept现象的处理。
进程的创建
-
linux
进程创建的方式主要通过fork来创建出子进程
// src/os/unix/ngx_process.c ngx_pid_t ngx_spawn_process(ngx_cycle_t *cycle, ngx_spawn_proc_pt proc, void *data, char *name, ngx_int_t respawn) { ... pid = fork(); ... } -
windows
进程创建的方式主要通过CreateProcess来创建出子进程，并且通过非继承的方式创建子进程（即子进程不共享父进程的文件句柄）。
// src/os/win32/ngx_process.c ngx_pid_t ngx_execute(ngx_cycle_t *cycle, ngx_exec_ctx_t *ctx) { ... if (CreateProcess(ctx->path, ctx->args, NULL, NULL, 0, //此变量为0表示句柄不继承 CREATE_NO_WINDOW, NULL, NULL, &si, &pi) == 0) { ngx_log_error(NGX_LOG_CRIT, cycle->log, ngx_errno, "CreateProcess(\"%s\") failed", ngx_argv[0]); return 0; } ... }
ListenSocket的建立
-
linux
由主进程先监听端口, 监听完后fork新的子进程共享父进程的socket句柄，所以在linux中，同个地址只会监听一次。在执行reload的时候会检查新的监听，或者挪除旧的监听（但如果是同一个端口的，假设127.0.0.1:80，改成0.0.0.0:80则无法生效），然后启动新的进程，同时向旧的进程发送退出状态，此时旧的进程不再接受新的连接。
启动三个linux进程, 但其中只有一个监听
(启动三个linux进程, 但其中只有一个监听)
-
windows
由于不共享父进程的句柄，每个子进程都是相对独立的各体，每个进程都独立进行监听（采用的设置SO_REUSEADDR从而实现对同一个地址多次绑定的效果）。但在windows上实测，采用SO_REUSEADDR实现的监听同一个地址，只会在第一个进程能成功调用Accept函数，只有第一个进程被关闭后，第二个监听到才能成功Accept。
启动8个进程, 每个程序都重复监听了该端口
(启动8个进程, 每个程序都重复监听了该端口)
这是显示刚初始运行的情况
(这是显示刚初始运行的情况)
用ab测试进行的压力测试
(用ab测试进行的压力测试, 显示只有一个进程正在对外服务, 其实的都是空闲状态)
如何控制accept
-
linux
主要通过共享锁，只有得到锁的进程才会进行尝试调用accept事件
// src/event/ngx_event.c void ngx_process_events_and_timers(ngx_cycle_t *cycle) { //是否启用共享锁控制，linux默认启动 if (ngx_use_accept_mutex) { //每次accept成功后都会重新赋该值，如果负载高，这值为正 //从而减少负载高的进程得到锁的概率 if (ngx_accept_disabled > 0) { ngx_accept_disabled--; } else { //尝试获取共享锁，该函数立即返回不等待 //如果成功获取该锁，则进行accept事件的投递 if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR) { return; } } } }当某进程连接数超过总worker_connections的7/8的时候，开始进行压力控制
// src/event/ngx_event_accept.c void ngx_event_accept(ngx_event_t *ev) { ... //ngx_cycle->connection_n表示当前配置总的work_connections //ngx_cycle->free_connection_n表示剩余可接受的连接数 //当可用连接数越少时，ngx_accept_disabled值越大，也就是获取锁的难度越高 ngx_accept_disabled = ngx_cycle->connection_n / 8 - ngx_cycle->free_connection_n; ... } -
windows
windows每个进程都是独立控制accept接收，没有锁控制，由于实测没有进程的压力都在单一的进程上(windows10测试)。
其它可行性方案探讨
- linux
linux通过启用SO_REUSEADDR及SO_REUSEPORT，达到可同一个地址在多个进程监听多次，统一由系统来分配socket给谁accept。
优点：避免使用锁，统一系统分配
缺点：进程负载分配不像手动控制那么精准，如果系统上有其它程序，可以通过监听同个端口达到偷取数据的目的，低版本的linux不支持此选项
示例参考：Linux ReusePort, ReuseAddr - windows
windows通过CreateProcess并且设置其中的子进程继承，通过命令行的方式把句柄值传递给子进程，启动进程后关闭主进程的句柄，从而使子进程拥有各自独立的accept权限。通过锁或者时序来控制谁来accept。
示例参与：Rust版的windows CreateProcess控制
用ab测试进行的压力测试
(运行截图, 其中584进程每接受一个新的socket时sleep 10秒时间)
