Go: x/time/rate
golang.org/x/time/rate.Limiter
核心是 Token Bucket
漂亮的设计之一是 lazy refill。它不会启动后台 goroutine 或 ticker 补 token,而是在请求到来时,临时计算当前应该有多少 token。 这样没有后台 goroutine、ticker、周期唤醒,Limiter 空闲时几乎没有额外成本。
| API | token 不够时 | 语义 |
|---|---|---|
Allow() |
返回 false | 丢弃 / reject |
Reserve() |
返回未来可执行时间 | 预约 / 排队 |
Wait() |
阻塞等待 | backpressure |
抽象
时间就是库存
时间 ↓ token ↓ 容量
elapsed → token: token = elapsed × rate 欠 token → 等待时间: duration = token / rate
没有真正维护令牌产生器和等待队列;它通过时间差懒计算 token,并允许 token 为负来表示未来 reservation,因此用极少状态就同时实现了 burst、限速和排队
rate.Limiter 限制的是进入速率(rate),而用 buffered channel 限制的是同时在途数量(concurrency)。这两个东西经常应该组合,而不是二选一。
缺陷
- 只能控制
每秒开始多少工作,不能控制同时多少 goroutine,也不能控制多少请求正在等待。 - 单进程 limiter,不是全局 limiter
- 内部有一个共享 mutex。官方保证 Limiter 可被多个 goroutine 安全并发使用。
- 状态更新需要串行。临界区很短,通常问题不大,但极高 QPS 下,一个全局 limiter 仍可能成为共享竞争点
- 把限流粒度按 tenant / user / API 拆开。
- Reserve() 是有副作用的,不是查询
评论