Rate limiting

2026-08-103 出链

限流算法、准入策略与分布式实现的选型框架

  • S:服务容量有限,而请求可能因突发流量、重试、恶意访问或单个租户失控而超过容量。
  • C:无限接收会把过载放大为排队、超时和级联故障;过度限流又会浪费容量并伤害正常用户。
  • Q:如何在容量约束内公平接纳请求,同时允许可控突发?
  • A:先定义受保护资源和限流维度,再按需要选择窗口计数或整形算法;在入口尽早拒绝,并以并发限制、背压和负载卸载共同保护系统。

先区分四个问题

  • Rate limit:单位时间允许开始多少工作,例如每个用户每秒 100 次请求。
  • Concurrency limit:同时允许多少工作在途,直接约束资源占用。
  • Traffic shaping:把突发请求排队并平滑发送,而不是立即拒绝。
  • Load shedding:系统过载时主动丢弃低价值工作,保护核心路径。

只限制速率不保证安全。若每个请求耗时 10 ms,100 req/s 约有 1 个平均在途请求;若下游变慢到 1 s,同样速率会形成约 100 个在途请求。速率限制应经常与并发限制、超时和有界队列组合。

常见算法

算法 状态 突发行为 特点
固定窗口计数 当前窗口计数 窗口边界可能放大到近 2 倍 简单、低成本,但边界不平滑
滑动日志 窗口内每次请求时间 精确 状态随请求量增长,清理成本高
滑动窗口计数 当前与前一窗口计数 较平滑 近似滑动日志,成本可控
漏桶 队列与固定流出速率 平滑输出 适合整形;队列满时拒绝
令牌桶 当前 token 与更新时间 允许不超过 bucket 的突发 工程中常用,速率与突发容量可独立配置

令牌桶参数:

  • rate:长期平均补充速率。
  • burst:桶容量,即一次可吸收的最大突发。
  • 每次请求消耗 token;token 不足时,可以拒绝、等待或预约未来额度。

Go: x/time/rate 使用 lazy refill:请求到来时按时间差计算 token,不需要后台 ticker。

设计步骤

1. 明确保护对象

限流器必须对应真实瓶颈:CPU、数据库连接、第三方 API 配额、租户预算或昂贵操作。阈值应来自容量测试和 SLO,而不是任意常量。

2. 选择 key 和作用域

常见 key 包括 tenant + API、用户、访问令牌、IP 或全局服务。只按 IP 会误伤 NAT 后的用户,也容易被攻击者轮换 IP 绕过;只做全局限流则可能让一个大租户耗尽全部额度。

常用组合是:

text
global safety limit
└── tenant limit
    └── endpoint or operation limit

高基数 key 需要过期和容量上限,防止限流器本身成为内存攻击面。

3. 决定超额语义

  • 可交互请求:尽早返回 HTTP 429 Too Many Requests,在能给出可靠等待时间时附带 Retry-After。
  • 可延迟任务:进入有界队列,通过背压限制生产速度;队列满后仍必须拒绝。
  • 核心与非核心流量:按优先级预留容量,过载时先卸载低价值请求。
  • 客户端重试:使用指数退避和 jitter,且总重试次数与截止时间有界,避免同步重试风暴。

分布式限流

本地限流器

优点是快、没有网络依赖,适合保护单实例。若有 N 个实例且每个都配置全局额度,实际总额度可能扩大到 N 倍。平均分配额度又会因流量不均造成一边拒绝、一边闲置。

集中式计数

使用 Redis 等共享存储可获得更统一的视图。计数和过期必须原子执行,通常通过脚本或单条原子命令完成。代价是每次准入增加网络跳转,共享存储也会成为延迟和可用性依赖。

分层或租约式额度

全局协调器把一小段额度租给各实例,请求在本地消费,定期续租。这减少热路径的远程访问,但会牺牲精度;实例故障或网络分区时,已发放额度可能暂时无法回收。

分布式限流无法同时免费获得强全局精度、低延迟和高可用。应根据业务接受的超发量选择一致性,而不是默认追求逐请求全局串行化。

可观测性与验证

至少记录:

  • accepted / rejected / queued 数量,按规则和租户聚合;
  • token 或剩余额度、队列长度、等待时间;
  • 下游延迟、错误率、资源饱和度;
  • 高基数 key 数量和限流器自身延迟。

用阶跃流量、短时突发、持续过载和下游变慢四类场景验证。正确的限流效果不是“永不报错”,而是过载时拒绝可预测、核心请求仍满足 SLO、系统能在流量恢复后迅速回稳。

相关笔记

  1. https://blog.cloudflare.com/counting-things-a-lot-of-different-things

评论