# 推测解码上线怎么验收？接受率与加速比怎么测

> 用「每步成本 × 步数」的双因子模型解释量化和推测叠加时收益为什么会被稀释，拆解 TTFT 与 TPS 各自吃哪类优化，给出一份包含无损性验证、质量评测、性能指标与组合矩阵的生产验收协议，并列出集成时最常见的坑。

Canonical: https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-06-%E7%B3%BB%E7%BB%9F%E9%9B%86%E6%88%90%E4%B8%8E%E7%94%9F%E4%BA%A7%E9%AA%8C%E6%94%B6/


> 系列导航：[推测解码精读笔记总览](/notes/llm推测解码精读笔记-00-总览与学习地图/)（共 6 篇）｜上一篇：[不用草稿模型的加速方案](/notes/llm推测解码精读笔记-05-n-gram检索式与无模型路线/)

> 对应：vLLM / TensorRT-LLM 的推测解码工程实践；量化系列第 10 章（质量评估方法论）与第 11 章（系统协同与部署）。本系列完结章。
> 前置：01–05 章全部内容。学完本章你应该能：① 用"每步成本 × 步数"的双因子模型解释量化与推测的叠加收益，并指出"只量化目标、不量化草稿"会稀释推测收益；② 分解 TTFT 与 TPS，说清各自吃哪类优化；③ 设计一份生产验收协议（无损性验证、质量评测、性能指标、组合矩阵）；④ 根据业务场景（低延迟/高吞吐/显存受限/重复性任务）给出技术选型；⑤ 列出集成时最常见的 9 个坑。

---

## 目录（本章）

1. 本章目标
2. 全系列回顾：两条主线的乘法结构
3. 组合墙钟模型：量化 × 推测
4. 端到端延迟模型：TTFT 与 TPS
5. 系统组件集成
6. 吞吐 vs 延迟权衡
7. 验收协议
8. 数值算例：组合收益
9. 决策树：什么时候上什么
10. 实现细节与坑
11. 本章小结与系列收尾
12. 习题与解答
13. 延伸阅读

---

## 2. 全系列回顾：两条主线的乘法结构

整个系列围绕一个双因子模型展开：

$$
\text{总墙钟} = \underbrace{\text{每步成本}}_{\text{量化主战场}} \times \underbrace{\text{步数}}_{\text{推测主战场}}
$$

```
量化（有损换速度）：位宽减半 → 权重搬移减半 → 每步约快 2x（W4A16 等）
推测（无损换步数）：一次验证产出 E[N] 个 token → 步数除以 ~2-3.5x
```

两路正交，理想情况下**乘积叠加**；但存在交互项（草稿也被量化吗？验证树更贵吗？KV 量化腾出的显存能换更大 batch 吗？），本章把这些交互算清楚。

## 3. 组合墙钟模型：量化 × 推测

### 3.1 基础公式回顾

01/02 章的链式推测：

$$
E[N] = \frac{1-\alpha^{K+1}}{1-\alpha}, \qquad
\text{speedup}_{\text{spec}} = \frac{E[N]\cdot c}{c+K}, \quad c = \frac{T_p}{T_q}
$$

每轮墙钟 $T_p + K\cdot T_q$，产出 $E[N]$ 个 token。

### 3.2 引入量化

设目标模型量化后每步快 $q_t$ 倍、草稿快 $q_d$ 倍：

$$
T_p \to \frac{T_p}{q_t}, \qquad T_q \to \frac{T_q}{q_d}
$$

组合加速比（相对未量化、未推测的基线）：

$$
\text{speedup}_{\text{total}} = \frac{E[N]\cdot T_p/q_t}{T_p/q_t + K\cdot T_q/q_d}
$$

**情形分析**（$T_p=10$ms、$T_q=1$ms、$K=4$、$\alpha=0.8$、$E[N]=3.36$）：

| 场景 | 每轮时间 | 每 token 时间 | 总加速 | 说明 |
|---|---:|---:|---:|---|
| 基线（无优化） | 10ms/token | 10.0ms | 1.00x | — |
| 只推测 | 14ms / 3.36 | 4.17ms | 2.40x | 02 章结果 |
| 量化都做（$q_t=q_d=2$） | 7ms / 3.36 | 2.08ms | **4.80x** | ≈ 乘积 2.40 × 2 |
| 只量化目标（$q_t=2, q_d=1$） | 9ms / 3.36 | 2.68ms | 3.73x | 草稿开销占比上升 |
| 只量化草稿（$q_t=1, q_d=2$） | 12ms / 3.36 | 3.57ms | 2.80x | 推测比值改善但绝对收益小 |

三个结论：

1. **都量化时乘积近似成立**（4.80x ≈ 2.40 × 2）：两条优化主线确实正交；
2. **只量化目标会稀释推测收益**（3.73x < 4.80x）：草稿相对变慢，$c$ 下降，草稿开销占比上升——**量化草稿和量化目标一样重要**；
3. **量化是"放大器"**：同样的推测方案，配合量化后绝对收益更大，所以生产环境优先"量化 + 推测"一起上。

### 3.3 树的组合

树/特征级方案（03/04 章）把 $T_q$ 换成"树/草稿头的前向成本"，$E[N]$ 换成树的期望接受长度：

$$
\text{speedup} = \frac{E[N]\cdot T_p/q_t}{T_p/q_t + T_{\text{draft}}/q_d}
$$

定性结论不变：$T_{\text{draft}}$ 越小（Medusa 头 ≈ 0、EAGLE 轻量 decoder），组合收益越接近"纯 $E[N]$ × 量化"。

---

## 4. 端到端延迟模型：TTFT 与 TPS

把一次请求拆成两段：

$$
\text{TTFT} \approx T_{\text{prefill}}(L, B), \qquad
\text{TPS} = \frac{1}{\text{decode 每 token 时间}}
$$

两种优化对两段的作用完全不同：

| 优化 | TTFT（prefill） | TPS（decode） |
|---|---|---|
| 量化（FP8/W4A16） | ✓ 显著（compute-bound，FLOPS 翻倍） | ✓ 显著（bandwidth-bound，搬移减半） |
| 推测解码 | ✗ 无（还没有 token 可猜） | ✓ 显著（步数减少） |
| KV 量化 | ✗ 几乎无 | ✓ 间接（省显存 → 更大 batch/更长序列） |
| 分块预填充 | ✓（减少队头阻塞） | ✗ |

```
经验法则：
TTFT 靠"量化 + 分块预填充"；TPS 靠"推测 + 量化"。
只上推测、不上量化：TTFT 一点没动，用户体验第一口还是慢。
```

---

## 5. 系统组件集成

### 5.1 调度与批处理

推测解码的每轮分两阶段：

```
草稿阶段：每个请求独立跑草稿（batch 内各请求长度不同）
验证阶段：把所有请求的草稿树拼成一个"验证 batch"，一次前向批量验证
```

生产引擎（vLLM 等）的要点：

- 验证前向用**树注意力**，多个请求的树按各自掩码拼进同一张注意力矩阵；
- 草稿阶段可以与其他请求的验证阶段**重叠**（流水线化），隐藏草稿延迟；
- batch 越大，验证前向越接近带宽饱和，推测收益会部分被"本来就要搬权重"抵消（第 6 节）。

### 5.2 KV cache 管理

```
目标 KV：验证前向算整棵树 → 只保留接受路径，其余丢弃
草稿 KV：草稿模型自己的 KV（独立维护；EAGLE 用特征缓存）
量化 KV：KV8/KV4（量化系列 08 章）→ 省显存，配合推测可支撑更长序列
前缀缓存：多个请求共享前缀时复用 KV（与推测正交，可叠加）
```

一个容易踩的坑：**接受路径的 hidden state / 特征必须保存**（04 章），否则下一轮草稿要重跑目标前向，推测收益直接蒸发。

### 5.3 与量化方案的兼容矩阵

| 量化位宽 | 与推测组合的注意点 |
|---|---|
| W8A8 / FP8 | 无损推测照常；验证树 FLOPs 增大的部分也享受 FP8 加速 |
| W4A16 | decode 带宽减半，收益最大；注意草稿也要量化（§3.2） |
| W4A8KV4 | KV 省显存换长上下文/大 batch；KV 误差与典型验收误差叠加，需验收（第 7 节） |

---

## 6. 吞吐 vs 延迟权衡

```
batch=1（本地/交互）：
  decode 带宽远未饱和，推测的"一步多产出"几乎全额变现
  → Medusa/EAGLE 论文的 2.2-3.6x 都在这类设置下测出

高 batch（在线服务）：
  验证前向一次处理大量请求，权重搬移成本被摊薄
  推测的步数收益仍在，但验证树增加的 FLOPs 可能撞上算力上限
  → 收益存在但通常低于 batch=1 的论文数字
```

吞吐优化的三条杠杆，按性价比排序：

```
1. 连续批处理 + 前缀缓存（零风险、收益大）
2. 量化（每步成本直接减半）
3. 推测解码（步数减少；batch 越大边际收益越小）
```

---

## 7. 验收协议

推测解码是无损优化，量化是有损优化——**验收必须分别设计，再组合验证**。

### 7.1 无损性验证（推测专属）

| 解码模式 | 验收标准 |
|---|---|
| 贪心 | 与 vanilla 贪心输出**逐 token 完全一致**（同 seed、同实现）；不一致即 bug 或近似验收 |
| 采样 | 固定 seed 下，推测开/关的经验分布不可区分：比较 n-gram 分布、统计量或做分布检验 |

注意：Medusa 的默认典型验收（typical acceptance）、以及跳过验证直接采用检索续写的 PLD 实现，都**不是**严格无损——验收文档里要明确标注"近似模式"，别把近似当无损宣传。

### 7.2 质量评测（量化 + 近似验收共用）

沿用量化系列 10 章方法论：

```
perplexity：最快，但只反映"分布像不像"
任务 benchmark：MMLU / HumanEval / GSM8K / MT-Bench，分数差在噪声内
定制评测：接你的业务数据，测端到端效果
阈值：与基线差的置信区间包含 0，才允许上线
```

### 7.3 性能验收

不要只报一个加速比。完整指标集：

| 指标 | 含义 | 怎么测 |
|---|---|---|
| $\alpha$ | 草稿质量（草稿侧） | 链式草稿的接受率 |
| $\tau$ / $E[N]$ | 每轮真实产出（验证侧） | 直接统计每轮 token 数 |
| $c$ | 目标/草稿速度比 | 分别测 $T_p$、$T_q$（**量化后再测**） |
| speedup | 墙钟加速 | 同硬件、同引擎、同负载 |
| TTFT / TPS / P99 | 用户体感 | 端到端压测 |

负载矩阵：短/长 prompt × 对话/代码/摘要 × batch 1/N。P99 尤其重要——推测的随机接受会让尾部延迟抖动。

### 7.4 组合验收矩阵

```
            BF16           W4A16
vanilla    (基线)         质量+性能
EAGLE      无损+性能      质量+性能   ← 上线候选
Medusa     近似+性能       近似+性能   ← 需重点评估质量
PLD        无损+性能       无损+性能   ← 零成本插件
```

每个格子单独测质量与性能；两个有损近似（量化误差 × 典型验收误差）**可能复合**，不能只测单因子。

---

## 8. 数值算例：组合收益

场景：LLaMA2-Chat 70B，BF16 基线 $T_p = 100$ms/token，EAGLE 草稿 $T_q = 8$ms/token（$c = 12.5$），实测 $\alpha$ 剖面下 $E[N] = 3.4$，$K = 5$。

**只推测**：

$$
\text{speedup} = \frac{3.4 \times 12.5}{12.5 + 5} = 2.43\text{x}
$$

**推测 + W4A16（$q_t = 2$，草稿也量化 $q_d = 2$）**：

$$
\text{speedup} = \frac{3.4 \times 100/2}{100/2 + 5 \times 8/2} = \frac{170}{70} = 2.43\text{x} \ (\text{组件内}) \quad
\Rightarrow \text{总加速} = 2.43 \times 2 = 4.86\text{x}
$$

每 token 从 100ms 降到约 20.6ms。若**只量化目标**（$q_d = 1$）：

$$
\text{speedup} = \frac{3.4 \times 50}{50 + 40} = 1.89\text{x} \ \Rightarrow \text{总加速} = 1.89 \times 2 = 3.78\text{x}
$$

草稿不量化损失约 22% 的端到端收益——这就是"量化要连草稿一起做"的量化证据。

---

## 9. 决策树：什么时候上什么

```
质量零容忍（医疗/金融/法务）：
  → 只上严格无损推测（EAGLE 拒绝采样 / PLD）+ 可选 KV 量化
  → 权重量化必须过 7.2 节全套质量关

单用户低延迟（本地/交互，batch≈1）：
  → EAGLE/Medusa + 树 + W4A16（草稿一起量化）→ 收益最大

高吞吐在线服务：
  → 前缀缓存 + 连续批处理 + 分块预填充（先上零风险项）
  → 量化 → 推测（batch 大时按实测收益决定是否保留）

任务重复性强（摘要/代码/翻译）：
  → 免费叠加 PLD 作为附加通道

显存受限（长上下文/大 batch）：
  → KV 量化优先；推测次之（省显存不是推测的强项）
```

---

## 10. 实现细节与坑

1. **用错基线**：拿 HuggingFace eager 当基线测出的加速比虚高；必须与生产引擎同配置对比。
2. **只报 $\alpha$ 不报 $\tau/E[N]$**：$\alpha$ 高但草稿慢，照样不加速；每轮产出才是验证侧真相。
3. **草稿不量化**：草稿开销占比上升，端到端收益掉 20%+（第 8 节）。
4. **两个近似叠加要分别验收**：量化误差 × 典型验收误差可能复合放大；组合矩阵必须逐个测。
5. **只测一种负载**：prompt 长度、任务类型、batch 数都影响收益；按负载矩阵测。
6. **忽略 P99**：推测的随机性让尾部延迟抖动，长尾用户体感会差。
7. **无损验证偷懒**：贪心模式下输出不一致就是 bug；采样模式要做分布检验，不能只看"长得像"。
8. **树参数不调**：03 章 64 节点结论、02 章 $K^*$ 表格——上线前在目标负载上重新扫一遍。
9. **长序列下 $T_p$ 变贵**：验证前向处理 $L+K$ 个位置，$L$ 很大时 $K$ 要相应调小。

---

## 11. 本章小结与系列收尾

1. **双因子模型**：总墙钟 = 每步成本 × 步数；量化与推测正交，都做时乘积近似成立。
2. **交互项**：草稿也要量化，否则推测收益被稀释；KV 量化省显存换长上下文/大 batch。
3. **TTFT vs TPS**：TTFT 靠量化 + 分块预填充，推测只救 TPS。
4. **验收协议**：无损性（贪心逐 token 一致 / 采样分布检验）+ 质量（perplexity/benchmark/定制）+ 性能（$\alpha$/$\tau$/c/speedup/P99）+ 组合矩阵。
5. **决策树**：质量零容忍 → 无损推测；batch=1 → 推测+量化全上；高吞吐 → 缓存/批处理/量化优先；重复任务 → 叠加 PLD（无训练成本）。

---

### 系列收尾：00–06 一句话记忆

```
00 地图：量化改"每步成本"，推测改"步数"，两条主线正交
01 公式：E[N] = (1−α^{K+1})/(1−α)，α = 1 − TV(p,q)
02 原始：小模型猜 K 步，大模型一次审，拒绝采样保证严格无损
03 Medusa：多头 + 树，"猜得准"升级为"覆盖得全"；典型验收≈近似
04 EAGLE：特征级自回归，第一个草稿恒接受，70B 2.7–3.5x
05 n-gram：翻自己/翻轨迹/翻语料，重复率决定盈亏
06 集成：每步成本 × 步数，量化与推测一起上，验收分三关
```

> 一句话记忆（全系列）：**"让每一步更便宜（量化），让需要的步数更少（推测）；猜的方式从外部模型一路进化到特征空间与文本记忆——最后用一份验收协议把它们拧在一起。"**

---

## 12. 习题与解答

### 题 1（推导）：组合模型

证明：当 $q_t = q_d = q$ 时，组合加速比 = $q \times \text{speedup}_{\text{spec}}$；当 $q_d = 1$ 时，组合加速比 < $q \times \text{speedup}_{\text{spec}}$（$K > 0$ 时严格小于）。

<details>
<summary>题 1 解答</summary>

$q_t=q_d=q$：$\text{speedup} = \frac{E\cdot T_p/q}{T_p/q + K T_q/q} = \frac{E\cdot T_p}{T_p + K T_q} = \text{speedup}_{\text{spec}}$，再乘 $q$ 得 $q\times\text{speedup}_{\text{spec}}$。$q_d=1$：分母 $\frac{T_p}{q} + K T_q$ 比 $\frac{T_p + K T_q}{q}$ 大（因为 $\frac{T_p}{q} + K T_q > \frac{T_p}{q} + \frac{K T_q}{q}$ 当 $q>1$），故组件内加速比 < $\text{speedup}_{\text{spec}}$。
</details>

### 题 2（计算）：四场景表

$T_p=10$ms、$T_q=1$ms、$K=4$、$\alpha=0.8$：重算第 3 节四行表格，并给出"只量化目标但把草稿也换快（$q_d=1.5$）"这一行的结果。

<details>
<summary>题 2 解答</summary>

基线 10.0ms/token；只推测 14/3.36=4.17ms → 2.40x；都量化 7/3.36=2.08ms → 4.80x；只量化目标 9/3.36=2.68ms → 3.73x；只量化草稿 12/3.36=3.57ms → 2.80x。$q_t=2,q_d=1.5$：每轮 $(10/2 + 4\times 1/1.5) = 5+2.67=7.67$ms → 2.28ms/token → 4.38x，介于"只量化目标"与"都量化"之间。
</details>

### 题 3（设计）：验收清单

给一个"把 EAGLE + W4A16KV4 组合上线的验收清单"（不少于 8 项，覆盖无损性、质量、性能、组合）。

<details>
<summary>题 3 解答要点</summary>

① 贪心逐 token 一致性（EAGLE 开/关）；② 采样分布检验（固定 seed，n-gram 统计不可区分）；③ MT-Bench/HumanEval/GSM8K 分数差在噪声内；④ 业务定制评测；⑤ $\alpha$、$\tau$、$c$（量化后重测）；⑥ TTFT/TPS/P99（短/长 prompt、batch 1/N）；⑦ KV 量化对长序列质量的影响；⑧ 组合矩阵 {BF16,W4A16} × {vanilla,EAGLE} 四格全测；⑨ 回归门禁：质量差置信区间含 0、P99 不劣化。
</details>

### 题 4（思考）：TTFT 为什么不吃推测收益

解释推测解码为什么对 TTFT 几乎无效，并列出三种真正改善 TTFT 的手段；指出哪种手段在"多请求排队"场景下最关键。

<details>
<summary>题 4 解答要点</summary>

TTFT 由 prefill（处理用户全部输入）决定，此时还没有可验证的草稿 token。改善手段：① 量化（prefill compute-bound，FP8 翻倍 FLOPS）；② 分块预填充（把长 prefill 切片，减少队头阻塞）；③ 前缀缓存（共享前缀只算一次）。排队场景下分块预填充最关键——它直接降低高并发下的 TTFT 方差。
</details>

### 题 5（设计）：四类业务的选型

为以下四个场景各给一个技术组合并说明理由：① 医疗问诊（质量零容忍、batch=1）；② 代码补全 SaaS（延迟敏感、重复性强）；③ 客服机器人（高吞吐、长上下文）；④ 端侧 8GB 显存跑 7B 模型。

<details>
<summary>题 5 解答要点</summary>

① 严格无损推测（EAGLE 拒绝采样）+ 可选 KV 量化，权重量化需全套质量关；② PLD 免费叠加 + EAGLE/Medusa + 量化，代码重复率让 n-gram 命中率高；③ 前缀缓存 + 连续批处理 + 分块预填充 + 量化为主，推测按实测收益决定；④ KV 量化优先（显存换上下文）+ W4A16 + 轻量推测（草稿也要量化），注意 batch=1 下推测收益最大。
</details>

### 题 6（编程）：组合收益敏感性分析

写一个脚本：输入 $(\alpha, K, c, q_t, q_d)$，输出 $E[N]$、组件内加速比、总加速比；扫 $\alpha \in \{0.6, 0.7, 0.8, 0.9\}$、$q_d \in \{1, 1.5, 2\}$ 画表，回答"什么时候草稿量化最值钱"。

<details>
<summary>题 6 解答要点</summary>

总加速比（相对未量化、未推测基线，无量纲）$= \frac{E[N]}{1/q_t + K/(c\cdot q_d)}$，由 $\text{speedup} = \frac{E\cdot T_p/q_t}{T_p/q_t + K\cdot T_q/q_d}$ 上下同除 $T_p$ 得到。扫表会发现：$\alpha$ 高（$E[N]$ 大）时草稿开销占比高，$q_d$ 的边际收益更大——**草稿量化在"推测收益高"时最值钱**；$\alpha$ 低时推测本身就不划算，先解决草稿质量再谈量化。
</details>

---

## 13. 延伸阅读

1. [vLLM 推测解码文档（Speculative Decoding）](https://docs.vllm.ai/en/latest/features/spec_decode.html)：`[ngram]`、EAGLE、Medusa 的工程集成与参数。
2. [TensorRT-LLM In-flight Batching 与 Speculative Decoding 文档](https://github.com/NVIDIA/TensorRT-LLM)：生产级组合实现。
3. [量化系列 10 章（质量评估方法论）](/notes/llm量化精读笔记-10-质量评估方法论/)：本章质量验收的方法论基础。
4. [Sequoia（arXiv:2402.12374）](https://arxiv.org/abs/2402.12374)：面向推测解码的树结构缩放理论，进一步学习起点。
5. [Hydra（arXiv:2402.18904）](https://arxiv.org/abs/2402.18904) / [DistillSpec（arXiv:2310.03701）](https://arxiv.org/abs/2310.03701)：多分支草稿与蒸馏草稿，推测解码的延伸方向。
6. [CREST（arXiv:2408.04678）](https://arxiv.org/abs/2408.04678)：REST 的 datastore 压缩改进。
7. 上一篇：[05 n-gram/检索式与无模型路线](/notes/llm推测解码精读笔记-05-n-gram检索式与无模型路线/)。**本系列完结。**

