Rate limiting
限流算法、准入策略与分布式实现的选型框架
- S:服务容量有限,而请求可能因突发流量、重试、恶意访问或单个租户失控而超过容量。
- C:无限接收会把过载放大为排队、超时和级联故障;过度限流又会浪费容量并伤害正常用户。
- Q:如何在容量约束内公平接纳请求,同时允许可控突发?
- A:先定义受保护资源和限流维度,再按需要选择窗口计数或整形算法;在入口尽早拒绝,并以并发限制、背压和负载卸载共同保护系统。
先区分四个问题
- Rate limit:单位时间允许开始多少工作,例如每个用户每秒 100 次请求。
- Concurrency limit:同时允许多少工作在途,直接约束资源占用。
- Traffic shaping:把突发请求排队并平滑发送,而不是立即拒绝。
- Load shedding:系统过载时主动丢弃低价值工作,保护核心路径。
只限制速率不保证安全。若每个请求耗时 10 ms,100 req/s 约有 1 个平均在途请求;若下游变慢到 1 s,同样速率会形成约 100 个在途请求。速率限制应经常与并发限制、超时和有界队列组合。
常见算法
| 算法 | 状态 | 突发行为 | 特点 |
|---|---|---|---|
| 固定窗口计数 | 当前窗口计数 | 窗口边界可能放大到近 2 倍 | 简单、低成本,但边界不平滑 |
| 滑动日志 | 窗口内每次请求时间 | 精确 | 状态随请求量增长,清理成本高 |
| 滑动窗口计数 | 当前与前一窗口计数 | 较平滑 | 近似滑动日志,成本可控 |
| 漏桶 | 队列与固定流出速率 | 平滑输出 | 适合整形;队列满时拒绝 |
| 令牌桶 | 当前 token 与更新时间 | 允许不超过 bucket 的突发 | 工程中常用,速率与突发容量可独立配置 |
令牌桶参数:
rate:长期平均补充速率。burst:桶容量,即一次可吸收的最大突发。- 每次请求消耗 token;token 不足时,可以拒绝、等待或预约未来额度。
Go: x/time/rate 使用 lazy refill:请求到来时按时间差计算 token,不需要后台 ticker。
设计步骤
1. 明确保护对象
限流器必须对应真实瓶颈:CPU、数据库连接、第三方 API 配额、租户预算或昂贵操作。阈值应来自容量测试和 SLO,而不是任意常量。
2. 选择 key 和作用域
常见 key 包括 tenant + API、用户、访问令牌、IP 或全局服务。只按 IP 会误伤 NAT 后的用户,也容易被攻击者轮换 IP 绕过;只做全局限流则可能让一个大租户耗尽全部额度。
常用组合是:
global safety limit
└── tenant limit
└── endpoint or operation limit高基数 key 需要过期和容量上限,防止限流器本身成为内存攻击面。
3. 决定超额语义
- 可交互请求:尽早返回 HTTP
429 Too Many Requests,在能给出可靠等待时间时附带Retry-After。 - 可延迟任务:进入有界队列,通过背压限制生产速度;队列满后仍必须拒绝。
- 核心与非核心流量:按优先级预留容量,过载时先卸载低价值请求。
- 客户端重试:使用指数退避和 jitter,且总重试次数与截止时间有界,避免同步重试风暴。
分布式限流
本地限流器
优点是快、没有网络依赖,适合保护单实例。若有 N 个实例且每个都配置全局额度,实际总额度可能扩大到 N 倍。平均分配额度又会因流量不均造成一边拒绝、一边闲置。
集中式计数
使用 Redis 等共享存储可获得更统一的视图。计数和过期必须原子执行,通常通过脚本或单条原子命令完成。代价是每次准入增加网络跳转,共享存储也会成为延迟和可用性依赖。
分层或租约式额度
全局协调器把一小段额度租给各实例,请求在本地消费,定期续租。这减少热路径的远程访问,但会牺牲精度;实例故障或网络分区时,已发放额度可能暂时无法回收。
分布式限流无法同时免费获得强全局精度、低延迟和高可用。应根据业务接受的超发量选择一致性,而不是默认追求逐请求全局串行化。
可观测性与验证
至少记录:
- accepted / rejected / queued 数量,按规则和租户聚合;
- token 或剩余额度、队列长度、等待时间;
- 下游延迟、错误率、资源饱和度;
- 高基数 key 数量和限流器自身延迟。
用阶跃流量、短时突发、持续过载和下游变慢四类场景验证。正确的限流效果不是“永不报错”,而是过载时拒绝可预测、核心请求仍满足 SLO、系统能在流量恢复后迅速回稳。
评论