# 注意力优化上线怎么验收？吞吐、显存与精度怎么测

> 把注意力优化拆成维度、内容、布局、内核四个层次，与「每步成本 × 步数 × 单步内部效率」三因子框架对应。本文给出长上下文系统的完整组件清单，区分精确与近似优化各自的验收方法，并手算一个量化 + GQA + 推测的端到端收益算例。

Canonical: https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-07-%E7%B3%BB%E7%BB%9F%E9%9B%86%E6%88%90%E4%B8%8E%E7%94%9F%E4%BA%A7%E9%AA%8C%E6%94%B6/


> 系列导航：[注意力与计算内核精读笔记总览](/notes/llm注意力内核精读笔记-00-总览与学习地图/)（共 8 篇）｜上一篇：[注意力内核怎么优化](/notes/llm注意力内核精读笔记-06-内核优化与算子融合/)｜下一篇：[SGLang RadixAttention 原理是什么](/notes/llm注意力内核精读笔记-08-前缀缓存与kv复用/)

> 对应：本系列 01–06 章的工程综合；vLLM / SGLang / TensorRT-LLM 实践；量化系列 10 章（质量评估）与 11 章（系统部署）方法论。**本系列的系统集成章。**
> 前置：01–06 章全部内容。学完本章你应该能：① 画出"注意力优化四层次"（维度/内容/布局/内核）与"推理三因子"（每步成本 × 步数 × 单步内部效率）的组合框架；② 给长上下文系统列出一份完整组件清单；③ 区分"精确"与"近似"的注意力优化并分别设计验收；④ 手算一个"量化 + GQA + 推测"端到端收益算例；⑤ 按四类业务场景给出技术选型与验收协议。

---

## 目录（本章）

1. 本章目标
2. 全系列回顾：注意力优化的四个层次
3. 组合框架：推理三因子
4. 长上下文系统的组件清单
5. 精确 vs 近似：注意力优化的分类
6. 验收协议
7. 决策树：四类场景
8. 数值算例：端到端组合收益
9. 实现细节与坑
10. 本章小结与系列收尾
11. 习题与解答
12. 延伸阅读

---

## 2. 全系列回顾：注意力优化的四个层次

```
维度（03 章）：每 token 存多少 KV —— MQA / GQA / MLA
内容（04 章）：存哪些 token —— 滑窗 / H2O / StreamingLLM
布局（05/08 章）：怎么存放与共享 —— PagedAttention / COW / 前缀缓存
内核（02/06 章）：怎么算得快 —— FlashAttention / 融合 / FP8
```

四层作用在不同环节，可以**叠加**：MLA 压维度 → H2O 挑内容 → 分页管布局 → FlashAttention/FP8 提速计算。

## 3. 组合框架：推理三因子

把注意力、量化、推测解码三个系列的账合起来，端到端延迟可写成：

$$
\text{总墙钟} \approx \underbrace{\text{每步成本}}_{\text{量化}} \times
\underbrace{\text{步数}}_{\text{推测解码}} \times
\underbrace{\text{单步内部效率}}_{\text{注意力与内核（本系列）}}
$$

但要小心**重复计算**：

```
量化（W4A16）：权重搬移减半 → 每步成本 ÷2
GQA/MLA：KV 搬移减为 1/8~1/57 → 每步成本再降（长上下文时显著）
FlashAttention：省 IO、提利用率 → prefill 变快
推测解码：步数 ÷2~3.5
端到端 = 各因子乘积，但 KV 与权重的节省不能各按倍数相乘（见第 8 节算例）
```

---

## 4. 长上下文系统的组件清单

一份"能支撑 128K 上下文、高并发"的组件清单：

```
① 计算内核：FlashAttention-2/3（prefill）+ 高效 decode 内核
② KV 维度：GQA 或 MLA（长上下文标配）
③ KV 布局：PagedAttention 分页 + 前缀缓存 + COW 共享
④ KV 数值：KV8/KV4 量化（显存再降，需验收）
⑤ 权重：W4A16 或 W8A8（每步带宽减半）
⑥ 调度：连续批处理 + 抢占（vLLM/SGLang/TensorRT-LLM）
⑦ 可选近似：StreamingLLM/H2O（显存或延迟再压一档，接受质量代价）
```

## 5. 精确 vs 近似：注意力优化的分类

| 方法 | 类别 | 说明 |
|---|---|---|
| FlashAttention 1/2/3 | **精确** | 结果逐位等价（浮点舍入内） |
| MQA/GQA/MLA | **精确**（架构不同） | 不近似注意力，只改参数量/表示 |
| PagedAttention/前缀缓存 | **精确** | 只改存放，不改计算 |
| 滑窗 / StreamingLLM / H2O | 近似 | 硬性截断/驱逐信息 |
| FP8 注意力 | 近似 | 低精度（块级量化可缓解） |
| 线性注意力 / Mamba | 架构不同 | softmax 被替换/全新架构 |

> 验收第一条铁律：**精确类可以直接上线（性能验收即可）；近似类必须过质量关，且要在"最坏场景"（超长、超预算）下测。**

---

## 6. 验收协议

### 6.1 质量验收（近似类必做）

```
perplexity：最便宜，但只反映"分布像不像"
长程任务：LongBench / LRA / 多跳问答（验证"被截断/驱逐的信息真的不重要"）
任务 benchmark：HumanEval / MMLU / 定制评测
压力测试：长度超出训练长度、KV 预算减半时，质量退化曲线必须可接受
```

### 6.2 性能验收

| 指标 | 关注点 |
|---|---|
| TTFT | prefill 内核（FA/FP8）的效果 |
| TPS | decode 带宽（KV 维度/布局/量化）的效果 |
| 显存峰值 | KV 是否成为 batch 瓶颈（分页后看实际利用率） |
| 吞吐（req/s） | 组合后的服务级收益 |
| P99 | 长尾（驱逐/抢占可能引入抖动） |

### 6.3 组合矩阵

不要只测单因子：

```
                 MHA            GQA/MLA
BF16 + FA      （基线）        质量+性能
W4A16 + FA     质量+性能        质量+性能   ← 上线候选
W4A16KV4 + FA  质量+性能        质量+性能
+ 推测解码      每格再叠步数因子
```

每个有损项（量化、FP8、驱逐）单独与组合都要测——**误差会复合**（量化系列 10 章的结论在这里同样适用）。

---

## 7. 决策树：四类场景

```
长上下文问答（单请求长 prompt，延迟敏感）：
  → FA3/FP8（prefill）+ MLA/GQA + 分页 + 前缀缓存

高并发在线服务（吞吐优先）：
  → vLLM 分页 + 连续批处理 + W4A16 + GQA
  → 推测解码按实测收益决定

端侧 / 小显存（8GB 级）：
  → W4A16KV4 + GQA/MLA + 滑窗/StreamingLLM（必要时）

研究 / 训练：
  → FA2/FA3 + torch.compile；长序列实验用线性注意力/Mamba 作对照
```

---

## 8. 数值算例：端到端组合收益

7B、decode、$L=4K$、HBM 带宽 2TB/s。基线每步：

$$
\text{搬移} = 13\ \text{GB（权重）} + 2\ \text{GB（KV，MHA）} = 15\ \text{GB}
$$

$$
t_{\text{step}} = 15/2000 = 7.5\ \text{ms}
$$

逐层叠加（每一步的搬移都要重新算，不能重复计）：

| 步骤 | 搬移 | 每步时间 | 累计 |
|---|---:|---:|---:|
| 基线（MHA） | 15 GB | 7.5 ms | 1.0x |
| + GQA（KV 2→0.5 GB） | 13.5 GB | 6.75 ms | 1.11x |
| + W4A16（权重 13→3.25 GB） | 3.75 GB | 1.875 ms | 4.0x |
| + 推测解码（步数 ÷3） | — | 有效 0.625 ms | **12x** |

关键点：

```
GQA 省的是 KV 部分（基线里只占 13%），所以单独看收益小；
但上下文越长（32K/128K）KV 占比越大，GQA 收益越大（01 章）
量化省权重（占比 87%），与 GQA 作用在不同项上，两项收益可以相加
推测在步数维度上叠加 → 三因子乘积成立
```

---

## 9. 实现细节与坑

1. **把近似当精确**：FP8/驱逐/线性注意力上线前必须过质量关。
2. **只测短序列**：长上下文下 KV 占比、注意力 FLOPs 都变，短序列结论会误导。
3. **只测单请求**：批处理下显存与调度行为完全不同。
4. **组合收益重复计算**：权重与 KV 的节省分开记账（第 8 节）。
5. **KV 显存不测**：分页后看"实际利用率"，而不是"分配了多少"。
6. **用错基线**：与生产引擎（vLLM/TensorRT-LLM）同配置对比，别拿 eager PyTorch 比。
7. **误差复合不验收**：量化 × FP8 × 驱逐叠在一起，必须组合矩阵全测。
8. **内核与硬件不匹配**：FA3 需要 Hopper+，FP8 需要对应张量核；换卡要重测。

---

## 10. 本章小结与系列收尾

1. **四层次**：维度、内容、布局、内核，作用在不同环节，可以叠加。
2. **三因子**：每步成本（量化）× 步数（推测）× 单步内部效率（本系列）。
3. **精确/近似分类**决定验收深度；组合矩阵防误差复合。
4. **决策树**：长上下文/高并发/端侧/研究各有最优组合。

### 系列收尾：00–08 一句话记忆

```
00 地图：注意力是"单步内部"的主战场，与量化/推测正交
01 基础：4L²d 的 FLOPs、KV 账本、prefill 计算密集 vs decode 带宽密集
02 FlashAttention：中间矩阵不落地，online softmax 保证精确，IO 最优
03 MQA/GQA/MLA：把每 token 的 KV 从 h 份砍到 1 份或一个潜向量
04 稀疏/线性：少看（窗口/驱逐）或换核（线性/SSM），都是近似
05 PagedAttention：像 OS 分页一样管 KV，碎片趋零、可共享
06 内核：Roofline 判瓶颈，融合 + Tensor Core + FP8 逼近 GEMM 效率
07 集成：四层次 × 三因子，精确类直接上，近似类过质量关
08 前缀缓存：KV 只依赖前缀——radix tree 记住 KV，命中率 h 省 h 的 prefill
```

> 一句话记忆（全系列）：**"存少点（03）、看少点（04）、排好点（05）、记住点（08）、算快点（02/06）；上线前按'精确还是近似'分别验收。"**

---

## 11. 习题与解答

### 题 1（推导）：组合不重复计数

说明为什么"GQA 省 4 倍 + 量化省 2 倍 = 8 倍"是错的，给出正确的合并方式。

<details>
<summary>题 1 解答</summary>

两个优化作用在**不同的搬移项**上：GQA 减 KV、量化减权重，总搬移 $= \text{权重}/q_w + \text{KV}/q_{\text{kv}}$，不是 $\text{总量}/(q_w q_{\text{kv}})$。只有把总搬移按权重/KV 分开记账再相加，才能得到正确的端到端收益（第 8 节表）。
</details>

### 题 2（计算）：128K 上下文的 KV 账本

7B（32 层、$d=4096$）：MHA vs GQA-8 在 128K 上下文各占多少显存？KV 占比分别多少（权重 13GB）？

<details>
<summary>题 2 解答</summary>

MHA：$2\times32\times4096\times2 = 512$ KB/token $\times 131072 = 64$ GiB（权重 13GB 的 4.9 倍）；GQA-8：$2\times32\times8\times128\times2 = 128$ KB/token $\times 131072 = 16$ GiB（约 1.2 倍）。长上下文下 KV 是显存主项——这也是 03 章 MLA 出场的理由。
</details>

### 题 3（设计）：长上下文系统验收清单

给"128K 上下文 + GQA + W4A16KV4 + 前缀缓存"组合列一份不少于 8 项的验收清单。

<details>
<summary>题 3 解答要点</summary>

① LongBench/多跳 QA 质量（短/中/长三档长度）；② 超训练长度的压力测试（如 256K 截断行为）；③ perplexity；④ TTFT/TPS/P99；⑤ 显存实际利用率（分页后）；⑥ KV4 量化对长上下文质量的影响；⑦ 前缀缓存命中率与收益；⑧ 与生产引擎基线同配置对比；⑨ 组合矩阵 {BF16, W4A16} × {KV8, KV4} 全测。
</details>

### 题 4（思考）：精确 vs 近似

把 01–06 章的方法按"精确/近似/架构不同"分类，并说明每类的验收深度差异。

<details>
<summary>题 4 解答要点</summary>

精确：FlashAttention、PagedAttention、前缀缓存、MQA/GQA/MLA（架构不同但非近似）——验收只看性能；近似：滑窗、H2O、StreamingLLM、FP8 注意力——必须质量 + 最坏场景验收；架构不同：线性注意力、Mamba——按新模型走完整评测。
</details>

### 题 5（决策）：四场景选型

分别为 ① 128K 长文档问答、② 千万 DAU 聊天、③ 端侧 8GB 跑 7B、④ 训练 1M token 实验模型，给出技术组合与理由。

<details>
<summary>题 5 解答要点</summary>

① FA3/FP8 + MLA/GQA + 分页 + 前缀缓存（prefill 与 KV 双瓶颈）；② vLLM 分页 + 连续批处理 + W4A16 + GQA，推测按实测（吞吐优先）；③ W4A16KV4 + GQA/MLA + 必要时 StreamingLLM（显存上限）；④ FA2/3 + 长序列用线性注意力/Mamba 作对照（研究）。
</details>

### 题 6（编程）：组合收益敏感性

写脚本：输入（权重 GB、KV GB/token、上下文、量化比、KV 压缩比、推测倍数），输出端到端加速比；扫"上下文长度"与"KV 压缩比"两个维度，回答"什么时候 KV 优化比权重量化更值钱"。

<details>
<summary>题 6 解答要点</summary>

端到端每步时间 $= (\text{weights}/q_w + L\times\text{KV}_{\text{per-token}}/q_{\text{kv}})/\text{BW}$，再除以推测倍数。扫表会发现：KV 占比随 $L$ 线性上升，超过权重后 KV 压缩的边际收益反超量化——临界点就是 01 章"KV 读取反超权重读取"的长度。
</details>

---

## 12. 延伸阅读

1. [vLLM 文档](https://docs.vllm.ai/)：分页、前缀缓存、推测解码、量化的生产集成。
2. [SGLang（arXiv:2312.07104）](https://arxiv.org/abs/2312.07104)：RadixAttention 前缀缓存。
3. [TensorRT-LLM](https://github.com/NVIDIA/TensorRT-LLM)：融合内核、FP8 注意力的生产实现。
4. [量化系列 10 章（质量评估方法论）](/notes/llm量化精读笔记-10-质量评估方法论/)：本章验收协议的方法论基础。
5. 上一篇：[06 内核优化与算子融合](/notes/llm注意力内核精读笔记-06-内核优化与算子融合/)。**本系列完结。**

