# 【万字硬核】微软 & NVIDIA 联合巨作《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B》全方位技术解析

> MT-NLG 530B训练论文精读：微软与NVIDIA如何用DeepSpeed的ZeRO和流水线并行叠加Megatron-LM的张量并行，构建3D并行体系，在560台DGX A100（4480张GPU）上训练5300亿参数的单体稠密模型。逐段拆解显存墙突破、混合精度数值稳定性、TB级语料数据清洗流水线与模型评估结论。

Canonical: https://doraemeng.dev/notes/mt-nlg-530b-deep-dive/


530B 参数按 FP16 存，光权重就是 530 × 2 bytes ≈ 1.06 TB；一张 A100 只有 80GB，至少 14 张卡才够放权重。训练状态按 20 bytes/param 算，530B × 20B ≈ 10.6 TB，相当于 133 张 A100 的显存只用来放参数、梯度和优化器状态，激活值还没开始算。MT-NLG 的论文要回答的就是：怎么用 560 台 DGX A100、4480 张 GPU 把这笔账平掉。

## 一、20 字节定律：先把显存账算清楚

混合精度训练的显存开销可以按参数逐项摊开。参数本身用 FP16 存，2 bytes；反向传播产生的梯度也用 FP16 存，2 bytes；Adam 优化器要保留一份 FP32 master weight 做更新，4 bytes；一阶矩 momentum 和二阶矩 variance 各 4 bytes；再加一份 FP32 的梯度副本用于累加，4 bytes。六项加起来是 20 bytes，这就是论文里“training consumes 20 bytes of memory per parameter”的来历。

原文在拆 Adam 状态时把 16 bytes 写成“含 5 个子项”，但表格只列了 4 项，正文用一句话提到剩下的 4 bytes 可能是 FP32 梯度副本或内存碎片。把 FP32 梯度副本明确列出来，账就对上了：2 + 2 + 4 + 4 + 4 + 4 = 20。这个细节不影响结论，但做容量规划时不能漏，漏一项就是 530B × 4 bytes ≈ 2.1 TB 的误差。

把 530B 代进去，仅模型状态就需要 10.6 TB。这个数字还没算激活值，也没算通信缓冲。

```
530 x 20 B ≈ 10.6 TB
```

激活值是另一笔账。前向传播要保存每一层 Attention 和 MLP 的输出，反向传播才能算梯度；对 Transformer 来说，这部分内存大致随层数、batch、序列长度和 hidden 维度线性增长。MT-NLG 的序列长度是 2048，530B 模型的层数和宽度又都很大，激活值不可能按原样全存。

```
O(Layers x BatchSize x SeqLen x HiddenSize)
```

激活重计算的做法是只存每个 Transformer 层的输入，反向传播需要中间激活时再跑一次前向。代价是计算量增加约 33%：原来一次前向加一次反向，现在多了一次前向；显存占用可以从 O(N) 降到 O(sqrt(N)) 或常数级，取决于每隔几层存一个检查点。对 530B 这个量级，激活重计算是开训的前提；没有它，显存根本不够。

数据并行也救不了显存。纯数据并行要求每张卡都放一份完整模型和优化器状态，4480 张卡就是 4480 份副本；而且全球 batch size 会随卡数线性膨胀，MT-NLG 的 global batch 是 1920，再往上加会碰到收敛问题。ZeRO 的思路是把优化器状态、梯度和参数按数据并行组切开，每张卡只负责一部分，需要时再通过通信拼回来；ZeRO-1 切优化器状态，ZeRO-2 再切梯度，ZeRO-3 连参数一起切。MT-NLG 把 ZeRO 和 Megatron 的张量并行、流水线并行叠在一起，才把单卡放不下的模型拆成了可以跨节点运行的形状。

## 二、3D 并行：把 4480 张卡排成一台机器

张量并行解决单层矩阵乘法放不下的问题。Megatron-LM 把 `Y = XW` 按列或按行切开：列并行把 W 切成 `[W1, W2]`，输入 X 复制到两张卡，各自算 `XW1` 和 `XW2`；行并行把 W 按行切，输入 X 也按列切，最后用一次 All-Reduce 把 `X1W1 + X2W2` 加起来。Attention 层用列并行、MLP 层用行并行，中间不需要通信，只在层末做一次 All-Reduce。

张量并行的通信量很大，每次 All-Reduce 都要同步所有参与卡的数据，所以它被限制在单机 NVLink 域内。MT-NLG 用 8 路张量并行，正好是一个 DGX A100 节点的 8 张 GPU；跨机走 InfiniBand，带宽和延迟都掉一档，TP 开到 8 以上不划算。

流水线并行解决层数放不下的问题。MT-NLG 用 35 路流水线，把 105 层切成 35 个 stage，每个 stage 3 层，stage 之间只传边界处的 hidden states，通信量比张量并行小得多，可以跨机走 InfiniBand。调度上用 1F1B：每个 GPU 先做若干个 micro-batch 的前向，进入稳定状态后交替做一次前向、一次反向，让反向的梯度计算尽快释放激活值。GPipe 那种“先灌完所有前向、再做所有反向”的做法要缓存 n 个 micro-batch 的激活，显存峰值高；1F1B 把在飞的 micro-batch 数量压到流水线深度附近，显存峰值和 stage 数解耦。

流水线有气泡。启动阶段部分 GPU 在等前一个 stage 的数据，结束阶段部分 GPU 在等反向，只有中间一段是所有 stage 都在干活。气泡比例由 stage 数和 micro-batch 数决定，可以用下面这个式子估算：

```
Efficiency ≈ 1 / (1 + (PP-1)/MB)
```

PP 是流水线阶段数，MB 是 micro-batch 数。要让效率接近 1，MB 必须远大于 PP；MT-NLG 的 PP 是 35，global batch 1920 要切成足够多的 micro-batch，才能把气泡压下去。DeepSpeed 还支持交错式 1F1B，让一个 GPU 负责不连续的几个 stage，进一步减少气泡，代价是通信模式更复杂。

```
GPU1 做 F1 -> 传给 GPU2
GPU1 做 F2 -> GPU2 做 F1
GPU2 做 B1
```

数据并行放在最外层，复制 16 份模型实例。每个实例由 8 路 TP 乘 35 路 PP 组成，占 280 张卡；16 个实例乘 280，正好 4480 张。拓扑感知映射把通信量大的组放在同一节点内：TP 组占满 8 卡 NVLink 域，PP 和 DP 跨节点走 HDR InfiniBand。Selene 的胖树拓扑给每个节点配了 8 块 200Gbps HDR HCA，也就是每张 GPU 200Gbps；原文笼统写成“节点间 200Gbps”，容易被误读成整个节点只有一条 200Gbps 链路。

这样切分之后，DP 组的梯度 All-Reduce 只传自己那份参数对应的梯度，通信量是完整模型的 `1 / (TP x PP)`。这就是 3D 并行能扩展到数千张卡的算术基础：TP 把单层拆开，PP 把层拆开，DP 复制剩下的部分，每一层的通信都落在合适的网络域里。

```
1 / (TP x PP)
```

## 三、稳定性：BF16、初始化和 beta_2

MT-NLG 用 BF16 做混合精度，这个选择有明确的数值原因。FP16 的指数位只有 5 位，尾数 10 位，动态范围小，训练中容易出现上溢成 Inf 或下溢成 0，通常要靠 loss scaling 把梯度放大再缩回来。BF16 的指数位 8 位，和 FP32 一样，尾数只有 7 位；精度低一些，但动态范围大，530B 这种规模的训练更不容易因为数值越界而发散。A100 对 BF16 有硬件支持，这也是 Selene 上能直接开 BF16 的前提。

权重初始化也做了针对性处理。论文给的标准差是 4.0e-3，并提到用 `sqrt(1/(3H))` 作为初始化尺度；H 是 hidden 维度 20480，代进去大约是 4.03e-3，两者对得上。深层 Transformer 的激活方差会随层数累积，初始化方差偏大会让前几层的激活迅速放大；这个尺度把初始激活压在合理范围内，减少训练早期的 loss spike。

优化器用 Adam，β1 = 0.9、β2 = 0.95、ε = 1e-8。β2 从常见的 0.99 下调到 0.95，二阶矩的指数移动平均窗口变短，优化器对近期梯度的方差更敏感。训练数据里突然出现一段脏样本、梯度分布突变时，β2 小的优化器能更快忘掉旧的方差估计，步长不会因为陈旧统计量而突然放大。论文把这条列为减少 loss spike 的手段；它不能替代梯度裁剪和数据清洗，但在 530B 这个量级上，任何能减少一次发散重启的配置都值得试。原文没有给出训练期间实际发生了多少次 spike、每次重启要多久 [待补：530B 训练中的 loss spike 次数与重启耗时]。

## 四、数据工程：MinHash 去重和 n-gram 去污染

MT-NLG 的训练集以 The Pile 为基础，挑出质量较高的子集，再加入 RealNews、CC-Stories 和经过清洗的 CommonCrawl。最终的语料混合是 339B token，实际训练用了 270B token。The Pile 本身包含 arXiv、PubMed、GitHub、Wikipedia 等来源，但论文没有照单全收，而是做了二次筛选；CommonCrawl 的数据量大、信噪比低，清洗流程才是各家真正花时间的地方。

去重用的是 MinHash 加 LSH。直接算两两文档的 Jaccard 相似度是 O(N²)，十亿级文档算不动；MinHash 把每篇文档压成一个签名，两个集合的 MinHash 值相等的概率等于它们的 Jaccard 相似度。LSH 再把签名分段，只有至少一段完全匹配的文档才进入候选对，复杂度降到近似 O(N)。论文把阈值设在 Jaccard 相似度大于 0.8，能抓出只改了几个词的转载和洗稿，同时避免把主题相似但内容不同的文档误删。

```
   J(A, B) = |A n B| / |A u B|

```

去污染处理的是另一种污染。训练语料里如果混进了下游任务的测试文本，模型可能靠记忆答案刷分，评测结果就不可信。论文用 n-gram 匹配把任务文档和训练文档对齐，一旦命中，就把训练文档从匹配处切开，把包含 n-gram 的片段删掉。这个做法比整篇丢弃更精细，保留了文档的其余部分；代价是切开的文档会损失局部上下文，n 的取值要在召回率和误伤之间做取舍。

## 五、结果：270B token、loss 1.85 和上下文学习

训练 10 亿 token 时，验证集交叉熵是 3.15；训练到 270B token，验证 loss 降到 1.85，困惑度大约是 e^1.85 ≈ 6.36。这个困惑度放在今天不算惊人，但它是 530B 稠密模型在 270B token 上跑出来的，而且当时还没有 Chinchilla 之后的 token 配比和长上下文方案。论文用这组曲线证明：在 175B 之后继续放大稠密模型，loss 仍然会下降，收益没有立刻消失。

LAMBADA 上，MT-NLG 在零样本、单样本和少样本三种设置下都刷新了 SOTA，击败了 GPT-3 和 Gopher。LAMBADA 考的是长距离依赖：给一段故事，最后一个词必须从很远的上文推出来。稠密模型把 530B 参数都用上，对这种需要跨长上下文整合信息的任务有优势；MoE 虽然参数量更大，但每次只激活一部分专家，能不能在同等激活预算下达到同样的效果，是另一个问题。

HANS 的结果更能说明上下文学习在做什么。零样本时，模型在 HANS 上只有随机水平；随着示例数量增加，准确率大幅提升。HANS 专门构造了句法启发式和真实逻辑不一致的样本，零样本表现差说明模型在预训练里学到了一堆捷径，比如靠词汇重叠判断蕴含；少样本提升说明模型能从示例里推断出“这个任务要看逻辑，不要看词重叠”，并调整推理方式。上下文学习在这里做的是任务校准：模型从示例里推断出任务规则，输出格式只是表面。

论文还测了社会偏见。模型把 Doctor、Engineer 和男性关联，把 Nurse、Teacher 和女性关联；这些偏见来自训练数据，后处理环节还没有介入。MT-NLG 没有做 RLHF 或 SFT 对齐，论文把它作为一个没有对齐的基线公布出来，这也解释了为什么后来的部署版本都要先过一轮对齐。

## 六、这套系统留下了什么

MT-NLG 的 530B 是稠密 Transformer 时代的一个高点。它证明了 3D 并行可以把 4480 张 A100 组织成一台机器，也证明了 BF16、初始化尺度、β2 调参和梯度重计算这些细节能在超大规模下把训练稳下来。它的训练量放在今天看不大：270B token 对比 Llama 3 时代的 1T token 级别，差了将近四倍；但当时的数据配方和基础设施都没有现成答案，这篇论文的价值在于把每个坑怎么填都写清楚了。原文没有给出 4480 卡规模下的端到端吞吐和 MFU [待补：4480 卡三组并行配置的 tokens/s 与 MFU]。

今天再看 MT-NLG，最值得抄的是 20 bytes/param 的账、TP/PP/DP 的拓扑映射，以及 β2 和数据清洗这些不性感的细节；530B 这个数字反而没那么重要。稠密模型每次推理都要算满全部参数，MoE 把激活参数降下来之后，继续堆稠密参数的经济账越来越难算。MT-NLG 之后，训练栈的演进方向转向了 MoE、更长上下文和更激进的数据配方，但显存墙、通信墙和数值稳定性这三道题，换到今天的大模型上还是要做。

原文链接是 zhuanlan.zhihu.com/p/2005217589220102741，作者是 Lmumu。原始论文是《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model》（arXiv 2201.11990）。DeepSpeed 和 Megatron-LM 的代码分别在 github.com/microsoft/DeepSpeed 和 github.com/NVIDIA/Megatron-LM，The Pile 的数据集页面在 pile.eleuther.ai。

