为什么需要限流?以及常见的限流算法有哪些?
常见限流算法
限流通过限制系统的流量,从而实现保护系统的目的
限流需要结合容量规划和压测来进行
当外部请求接近或达到系统的最大阈值时,触发限流,采取其他的手段进行降级
常见的降级策略包括 延迟处理,拒绝服务,随机拒绝等
比如Java 线程池在任务满的情况下,可以配置不同的拒绝策略
- AbortPolicy——丢弃任务并抛出异常
- DiscardPolicy——丢弃任务,不抛出异常
- DiscardOldestPolicy
如何判断当前的流量已经达到我们设置的最大值?
计数器法
进行限流时使用的是单位时间内的请求数,也就是 QPS。统计 QPS 最直接的想法是实现一个计数器
- 单点限流使用内存
- 集群限流可以用一个单独的存储节点,比如 Redis 或者 Memcached 进行存储,在固定的时间间隔内设置过期时间
计数器策略缺点——对临界流量不友好,限流不够平滑
假设限制用户一分钟下单不超过10万次,在两个时间窗口的交汇点,前后一秒钟内,分别发送10万次请求
这个峰值可能会超过系统阈值,影响服务稳定性
对计数器算法的优化——避免出现两倍窗口限制的请求,使用滑动窗口算法实现
漏桶和令牌桶算法
漏桶算法是从出口处限制请求速率,请求曲线始终平滑
漏桶算法的一个核心问题——对请求的过滤太精准了
在令牌桶算法中,假设有一个大小恒定的桶,这个桶的容量和设定的阈值有关
通过一个固定的速率,往里面放入令牌,如果桶满了,就把令牌丢掉
最后桶中可以保存的最大令牌数永远不会超过桶的大小
当有请求进入时,尝试从桶里取走一个令牌,如果桶是空的,这个请求就会被拒绝
在 Guava 中,限制策略的工具类 RateLimiter——基于令牌桶算法实现流量限制
不同限流算法的比较
计数器算法适合集群情况下使用,但要考虑临界情况,可以应用滑动窗口策略进行优化
- 漏桶算法提供了比较严格的限流
- 令牌桶算法在限流之外,允许一定程度的突发流量