阿姆达尔定律

固定工作量下，并行加速受限于串行部分比例：S(N)=1/((1-p)+p/N)，核数无限多时上限为 1/(1-p)。

https://en.wikipedia.org/wiki/Amdahl%27s_law

• S：在并行计算与性能优化中，我们常通过增加核数、加机器、拆任务来加速；评估"值不值得并行、理论上能快多少"需要可量化的模型。1967 年 Gene Amdahl 提出的阿姆达尔定律（Amdahl's Law）正是这样的模型，也常被列入软件工程定律清单。
• C：一方面，"核数翻倍速度就翻倍"的直觉几乎总是不成立——任务中总有不可并行部分（初始化、依赖链、结果合并、同步点），它的耗时不随核数减少，成为加速的硬上限；另一方面，也有人据此断言"并行化收益有限、不值得做"，两个方向都是误读。
• Q：在固定问题规模下，给定可并行比例 p 与处理器数 N，理论上限是多少？这个上限从哪来、在什么前提下成立、又在哪里失效？它与古斯塔夫森定律（Gustafson's Law）是什么关系？
• A：阿姆达尔定律：S(N) = 1 / ((1-p) + p/N)，N→∞ 时收敛到 1/(1-p)。它给出的是"固定工作量"视角下的悲观上界：串行比例决定了加速天花板，优化重点是串行部分与通信开销，而不是无限加核。

并行化加速受限于不可并行部分的比例

一句话结论

在固定问题规模下，加速比由不可并行的串行部分决定：S(N) = 1 / ((1-p) + p/N)。即使处理器无限多，加速比也以 1/(1-p) 为硬上限；但只要串行比例不是 0，并行就仍有实际收益——定律否定的是"线性加速"的幻想，而不是并行本身。

核心公式与变量定义

标准形式：

S(N) = 1 / ((1 - p) + p / N)

• N：处理器/核数（并行度），N >= 1
• p：可并行部分占原串行执行时间的比例（0 <= p <= 1）
• 1 - p：不可并行的串行部分比例
• S(N)：使用 N 个处理器相对单处理器的加速比（S(1) = 1）

N→∞ 的极限（并行部分耗时趋于 0，只剩串行部分）：

S_max = lim S(N) = 1 / (1 - p)

串行比例写法：记串行比例 s = 1 - p，则

S(N) = 1 / (s + (1 - s) / N) <= 1 / s

上界 1/s 只由串行比例决定，与核数无关——这就是"串行部分是天花板"的数学形式。

直觉与推导

把任务总耗时归一化为 T(1) = 1。其中比例 p 的部分可以完美并行，耗时随核数线性下降，为 p/N；其余 1 - p 的部分只能串行，耗时不变。于是：

T(N) = (1 - p) + p / N
S(N) = T(1) / T(N) = 1 / ((1 - p) + p / N)

直觉类比：任务是一条"串行入口 → 并行区 → 串行出口"的流水线。无论并行区铺得多宽，串行入口和出口的耗时一点都不会少；当 N 很大时，并行区耗时趋近 0，整条链路就剩下串行段，加速自然封顶。p 越接近 1 上限越高，但只要 p < 1，上限就有限。

简单算例

例 1（p=0.9, N=10）：90% 可并行、10 个核：

S(10) = 1 / (0.1 + 0.9/10) = 1 / 0.19 ≈ 5.26

10 个核只带来约 5.26 倍加速；即使把核数加到无穷大，上限也只有 1/0.1 = 10 倍。

例 2（p=0.5，核数→∞）：一半串行的任务：

S_max = 1 / (1 - 0.5) = 2

无论多少核，加速比永远不会超过 2 倍。

例 3（串行比例从 5% 压到 1%）：p=0.95, N=16 时

S(16) = 1 / (0.05 + 0.95/16) = 1 / 0.109375 ≈ 9.14

而 p=0.99, N=1000 时

S(1000) = 1 / (0.01 + 0.99/1000) = 1 / 0.01099 ≈ 91.0

对比可见：把串行比例从 5% 压到 1%（约 5 倍的串行段优化）带来的收益，远大于单纯把核数从 16 加到 1000——优化串行段是性价比最高的路径。

软件工程 / 并行计算场景

并行计算 / 多核

• 用公式估算并行化收益上限，决定是否值得投入：先 profile 出 p，再算 1/(1-p)；如果天花板本身就不高，先优化串行段（锁竞争、同步点、I/O 依赖链），而不是盲目加核。
• 例：p=0.9 时 100 核理论上限约 9.2 倍——若实际只达到 5 倍，问题多半出在通信/调度开销，而非并行度不足。

GPU / SIMD / 向量化

• 数据并行任务 p 很高，但 host↔device 数据传输、内存对齐、规约（reduction）都是事实上的串行开销，实测收益通常明显低于公式上限。

分布式系统 / 微服务

• 把单请求拆成并行子请求（fan-out / fan-in）时，端到端延迟受制于请求的串行部分：首尾的网络往返、依赖链、结果聚合。这和并行计算的 parallel 是同一套思维。

CI/CD 与构建

• 并行化测试、编译受共享资源与合并阶段（link、打包、部署）限制；构建时间随并发下降同样存在"串行地板"。

性能优化方法论

• 先 profile 出 p：如果串行比例明显（例如 1-p >= 5%），加核收益很快封顶，此时优化串行段（算法、锁、I/O 依赖）是性价比最高的路径；只有当 p 已接近 1 时，才值得继续在并行部分投入。

反例与常见误用

• 把阿姆达尔定律当作"并行化没用"的证据：它只是"固定工作量"下的悲观上界。p=0.9 时 100 核仍有约 9.2 倍收益，且它没有计入问题规模随核数增长的现实（见下文古斯塔夫森定律）。
• 忽略问题规模变化：公式假设工作量固定。真实负载常随资源增加而扩大（更大数据集、更高精度、更多用户），此时串行比例会相对下降，实际加速可超过固定规模估计。
• 忽略通信/同步开销：公式假设并行部分完美线性、零开销。现实中线程创建、锁、cache 一致性、网络传输、结果合并都是额外成本，实际加速比会低于公式，极端情况下出现"核越多越慢"。
• 混淆延迟与吞吐：阿姆达尔衡量的是单个任务完成时间（延迟）的加速；吞吐（单位时间完成的任务数）另受并发度与资源利用率影响，不能直接套用该公式。
• p 与 s 口径错误：p 必须以"单核串行执行时间"为分母来测量；若用并行执行时间作分母、或把串行比例当成 p，会得到错误的上限。
• 把上界当承诺：1/(1-p) 是理论上限而非预测，负载不均、抢占、热核、GC 停顿都会让实际加速低于该值。

与古斯塔夫森定律的关系

两者不是互相矛盾，而是"缩放什么"的假设不同：

• 阿姆达尔适合延迟敏感、工作量固定的任务（响应式请求、实时处理）——评估"加核能把延迟压到多少"。
• 古斯塔夫森适合算得越多越好的任务（科学计算、大数据分析）——评估"同样时间内能算多大问题"。
• 工程上先明确负载模型再选视角：测 benchmark 用固定规模，评估扩容能力用固定时间。

相关链接

• Amdahl's law（Wikipedia）
• 阿姆达尔定律（Wikipedia 中文）
• Gustafson's law（Wikipedia）

参考

• Amdahl, G. M., "Validity of the Single Processor Approach to Achieving Large-Scale Computing Capabilities", AFIPS Conference Proceedings, 30, 1967.
• 收录于 law-sofsoftware-engineering 的 "Scale 规模" 一节，与古斯塔夫森定律、梅特卡夫定律并列对照；并行计算背景见 parallel。