Go: x/time/rate

2026-09-141 引用

golang.org/x/time/rate.Limiter

核心是 Token Bucket

漂亮的设计之一是 lazy refill。它不会启动后台 goroutine 或 ticker 补 token,而是在请求到来时,临时计算当前应该有多少 token。 这样没有后台 goroutine、ticker、周期唤醒,Limiter 空闲时几乎没有额外成本。

API token 不够时 语义
Allow() 返回 false 丢弃 / reject
Reserve() 返回未来可执行时间 预约 / 排队
Wait() 阻塞等待 backpressure

抽象

时间就是库存

时间 ↓ token ↓ 容量

elapsed → token: token = elapsed × rate 欠 token → 等待时间: duration = token / rate

没有真正维护令牌产生器和等待队列;它通过时间差懒计算 token,并允许 token 为负来表示未来 reservation,因此用极少状态就同时实现了 burst、限速和排队

rate.Limiter 限制的是进入速率(rate),而用 buffered channel 限制的是同时在途数量(concurrency)。这两个东西经常应该组合,而不是二选一。

缺陷

  1. 只能控制每秒开始多少工作,不能控制同时多少 goroutine,也不能控制多少请求正在等待。
  2. 单进程 limiter,不是全局 limiter
  3. 内部有一个共享 mutex。官方保证 Limiter 可被多个 goroutine 安全并发使用。
  • 状态更新需要串行。临界区很短,通常问题不大,但极高 QPS 下,一个全局 limiter 仍可能成为共享竞争点
  • 把限流粒度按 tenant / user / API 拆开。
  1. Reserve() 是有副作用的,不是查询

评论