↓跳到主要内容
  1. 技术笔记/

【万字硬核】微软 & NVIDIA 联合巨作《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B》全方位技术解析

·3445 字 ·3 分钟

530B 参数按 FP16 存,光权重就是 530 × 2 bytes ≈ 1.06 TB;一张 A100 只有 80GB,至少 14 张卡才够放权重。训练状态按 20 bytes/param 算,530B × 20B ≈ 10.6 TB,相当于 133 张 A100 的显存只用来放参数、梯度和优化器状态,激活值还没开始算。MT-NLG 的论文要回答的就是:怎么用 560 台 DGX A100、4480 张 GPU 把这笔账平掉。

一、20 字节定律:先把显存账算清楚 #

混合精度训练的显存开销可以按参数逐项摊开。参数本身用 FP16 存,2 bytes;反向传播产生的梯度也用 FP16 存,2 bytes;Adam 优化器要保留一份 FP32 master weight 做更新,4 bytes;一阶矩 momentum 和二阶矩 variance 各 4 bytes;再加一份 FP32 的梯度副本用于累加,4 bytes。六项加起来是 20 bytes,这就是论文里“training consumes 20 bytes of memory per parameter”的来历。

原文在拆 Adam 状态时把 16 bytes 写成“含 5 个子项”,但表格只列了 4 项,正文用一句话提到剩下的 4 bytes 可能是 FP32 梯度副本或内存碎片。把 FP32 梯度副本明确列出来,账就对上了:2 + 2 + 4 + 4 + 4 + 4 = 20。这个细节不影响结论,但做容量规划时不能漏,漏一项就是 530B × 4 bytes ≈ 2.1 TB 的误差。

把 530B 代进去,仅模型状态就需要 10.6 TB。这个数字还没算激活值,也没算通信缓冲。

530 x 20 B ≈ 10.6 TB

激活值是另一笔账。前向传播要保存每一层 Attention 和 MLP 的输出,反向传播才能算梯度;对 Transformer 来说,这部分内存大致随层数、batch、序列长度和 hidden 维度线性增长。MT-NLG 的序列长度是 2048,530B 模型的层数和宽度又都很大,激活值不可能按原样全存。

O(Layers x BatchSize x SeqLen x HiddenSize)

激活重计算的做法是只存每个 Transformer 层的输入,反向传播需要中间激活时再跑一次前向。代价是计算量增加约 33%:原来一次前向加一次反向,现在多了一次前向;显存占用可以从 O(N) 降到 O(sqrt(N)) 或常数级,取决于每隔几层存一个检查点。对 530B 这个量级,激活重计算是开训的前提;没有它,显存根本不够。

数据并行也救不了显存。纯数据并行要求每张卡都放一份完整模型和优化器状态,4480 张卡就是 4480 份副本;而且全球 batch size 会随卡数线性膨胀,MT-NLG 的 global batch 是 1920,再往上加会碰到收敛问题。ZeRO 的思路是把优化器状态、梯度和参数按数据并行组切开,每张卡只负责一部分,需要时再通过通信拼回来;ZeRO-1 切优化器状态,ZeRO-2 再切梯度,ZeRO-3 连参数一起切。MT-NLG 把 ZeRO 和 Megatron 的张量并行、流水线并行叠在一起,才把单卡放不下的模型拆成了可以跨节点运行的形状。

二、3D 并行:把 4480 张卡排成一台机器 #

张量并行解决单层矩阵乘法放不下的问题。Megatron-LM 把 Y = XW 按列或按行切开:列并行把 W 切成 [W1, W2],输入 X 复制到两张卡,各自算 XW1 和 XW2;行并行把 W 按行切,输入 X 也按列切,最后用一次 All-Reduce 把 X1W1 + X2W2 加起来。Attention 层用列并行、MLP 层用行并行,中间不需要通信,只在层末做一次 All-Reduce。

张量并行的通信量很大,每次 All-Reduce 都要同步所有参与卡的数据,所以它被限制在单机 NVLink 域内。MT-NLG 用 8 路张量并行,正好是一个 DGX A100 节点的 8 张 GPU;跨机走 InfiniBand,带宽和延迟都掉一档,TP 开到 8 以上不划算。

流水线并行解决层数放不下的问题。MT-NLG 用 35 路流水线,把 105 层切成 35 个 stage,每个 stage 3 层,stage 之间只传边界处的 hidden states,通信量比张量并行小得多,可以跨机走 InfiniBand。调度上用 1F1B:每个 GPU 先做若干个 micro-batch 的前向,进入稳定状态后交替做一次前向、一次反向,让反向的梯度计算尽快释放激活值。GPipe 那种“先灌完所有前向、再做所有反向”的做法要缓存 n 个 micro-batch 的激活,显存峰值高;1F1B 把在飞的 micro-batch 数量压到流水线深度附近,显存峰值和 stage 数解耦。

流水线有气泡。启动阶段部分 GPU 在等前一个 stage 的数据,结束阶段部分 GPU 在等反向,只有中间一段是所有 stage 都在干活。气泡比例由 stage 数和 micro-batch 数决定,可以用下面这个式子估算:

Efficiency ≈ 1 / (1 + (PP-1)/MB)

PP 是流水线阶段数,MB 是 micro-batch 数。要让效率接近 1,MB 必须远大于 PP;MT-NLG 的 PP 是 35,global batch 1920 要切成足够多的 micro-batch,才能把气泡压下去。DeepSpeed 还支持交错式 1F1B,让一个 GPU 负责不连续的几个 stage,进一步减少气泡,代价是通信模式更复杂。

GPU1 做 F1 -> 传给 GPU2
GPU1 做 F2 -> GPU2 做 F1
GPU2 做 B1

数据并行放在最外层,复制 16 份模型实例。每个实例由 8 路 TP 乘 35 路 PP 组成,占 280 张卡;16 个实例乘 280,正好 4480 张。拓扑感知映射把通信量大的组放在同一节点内:TP 组占满 8 卡 NVLink 域,PP 和 DP 跨节点走 HDR InfiniBand。Selene 的胖树拓扑给每个节点配了 8 块 200Gbps HDR HCA,也就是每张 GPU 200Gbps;原文笼统写成“节点间 200Gbps”,容易被误读成整个节点只有一条 200Gbps 链路。

这样切分之后,DP 组的梯度 All-Reduce 只传自己那份参数对应的梯度,通信量是完整模型的 1 / (TP x PP)。这就是 3D 并行能扩展到数千张卡的算术基础:TP 把单层拆开,PP 把层拆开,DP 复制剩下的部分,每一层的通信都落在合适的网络域里。

1 / (TP x PP)

三、稳定性:BF16、初始化和 beta_2 #

MT-NLG 用 BF16 做混合精度,这个选择有明确的数值原因。FP16 的指数位只有 5 位,尾数 10 位,动态范围小,训练中容易出现上溢成 Inf 或下溢成 0,通常要靠 loss scaling 把梯度放大再缩回来。BF16 的指数位 8 位,和 FP32 一样,尾数只有 7 位;精度低一些,但动态范围大,530B 这种规模的训练更不容易因为数值越界而发散。A100 对 BF16 有硬件支持,这也是 Selene 上能直接开 BF16 的前提。

权重初始化也做了针对性处理。论文给的标准差是 4.0e-3,并提到用 sqrt(1/(3H)) 作为初始化尺度;H 是 hidden 维度 20480,代进去大约是 4.03e-3,两者对得上。深层 Transformer 的激活方差会随层数累积,初始化方差偏大会让前几层的激活迅速放大;这个尺度把初始激活压在合理范围内,减少训练早期的 loss spike。

优化器用 Adam,β1 = 0.9、β2 = 0.95、ε = 1e-8。β2 从常见的 0.99 下调到 0.95,二阶矩的指数移动平均窗口变短,优化器对近期梯度的方差更敏感。训练数据里突然出现一段脏样本、梯度分布突变时,β2 小的优化器能更快忘掉旧的方差估计,步长不会因为陈旧统计量而突然放大。论文把这条列为减少 loss spike 的手段;它不能替代梯度裁剪和数据清洗,但在 530B 这个量级上,任何能减少一次发散重启的配置都值得试。原文没有给出训练期间实际发生了多少次 spike、每次重启要多久 [待补:530B 训练中的 loss spike 次数与重启耗时]。

四、数据工程:MinHash 去重和 n-gram 去污染 #

MT-NLG 的训练集以 The Pile 为基础,挑出质量较高的子集,再加入 RealNews、CC-Stories 和经过清洗的 CommonCrawl。最终的语料混合是 339B token,实际训练用了 270B token。The Pile 本身包含 arXiv、PubMed、GitHub、Wikipedia 等来源,但论文没有照单全收,而是做了二次筛选;CommonCrawl 的数据量大、信噪比低,清洗流程才是各家真正花时间的地方。

去重用的是 MinHash 加 LSH。直接算两两文档的 Jaccard 相似度是 O(N²),十亿级文档算不动;MinHash 把每篇文档压成一个签名,两个集合的 MinHash 值相等的概率等于它们的 Jaccard 相似度。LSH 再把签名分段,只有至少一段完全匹配的文档才进入候选对,复杂度降到近似 O(N)。论文把阈值设在 Jaccard 相似度大于 0.8,能抓出只改了几个词的转载和洗稿,同时避免把主题相似但内容不同的文档误删。

   J(A, B) = |A n B| / |A u B|

去污染处理的是另一种污染。训练语料里如果混进了下游任务的测试文本,模型可能靠记忆答案刷分,评测结果就不可信。论文用 n-gram 匹配把任务文档和训练文档对齐,一旦命中,就把训练文档从匹配处切开,把包含 n-gram 的片段删掉。这个做法比整篇丢弃更精细,保留了文档的其余部分;代价是切开的文档会损失局部上下文,n 的取值要在召回率和误伤之间做取舍。

五、结果:270B token、loss 1.85 和上下文学习 #

训练 10 亿 token 时,验证集交叉熵是 3.15;训练到 270B token,验证 loss 降到 1.85,困惑度大约是 e^1.85 ≈ 6.36。这个困惑度放在今天不算惊人,但它是 530B 稠密模型在 270B token 上跑出来的,而且当时还没有 Chinchilla 之后的 token 配比和长上下文方案。论文用这组曲线证明:在 175B 之后继续放大稠密模型,loss 仍然会下降,收益没有立刻消失。

LAMBADA 上,MT-NLG 在零样本、单样本和少样本三种设置下都刷新了 SOTA,击败了 GPT-3 和 Gopher。LAMBADA 考的是长距离依赖:给一段故事,最后一个词必须从很远的上文推出来。稠密模型把 530B 参数都用上,对这种需要跨长上下文整合信息的任务有优势;MoE 虽然参数量更大,但每次只激活一部分专家,能不能在同等激活预算下达到同样的效果,是另一个问题。

HANS 的结果更能说明上下文学习在做什么。零样本时,模型在 HANS 上只有随机水平;随着示例数量增加,准确率大幅提升。HANS 专门构造了句法启发式和真实逻辑不一致的样本,零样本表现差说明模型在预训练里学到了一堆捷径,比如靠词汇重叠判断蕴含;少样本提升说明模型能从示例里推断出“这个任务要看逻辑,不要看词重叠”,并调整推理方式。上下文学习在这里做的是任务校准:模型从示例里推断出任务规则,输出格式只是表面。

论文还测了社会偏见。模型把 Doctor、Engineer 和男性关联,把 Nurse、Teacher 和女性关联;这些偏见来自训练数据,后处理环节还没有介入。MT-NLG 没有做 RLHF 或 SFT 对齐,论文把它作为一个没有对齐的基线公布出来,这也解释了为什么后来的部署版本都要先过一轮对齐。

六、这套系统留下了什么 #

MT-NLG 的 530B 是稠密 Transformer 时代的一个高点。它证明了 3D 并行可以把 4480 张 A100 组织成一台机器,也证明了 BF16、初始化尺度、β2 调参和梯度重计算这些细节能在超大规模下把训练稳下来。它的训练量放在今天看不大:270B token 对比 Llama 3 时代的 1T token 级别,差了将近四倍;但当时的数据配方和基础设施都没有现成答案,这篇论文的价值在于把每个坑怎么填都写清楚了。原文没有给出 4480 卡规模下的端到端吞吐和 MFU [待补:4480 卡三组并行配置的 tokens/s 与 MFU]。

今天再看 MT-NLG,最值得抄的是 20 bytes/param 的账、TP/PP/DP 的拓扑映射,以及 β2 和数据清洗这些不性感的细节;530B 这个数字反而没那么重要。稠密模型每次推理都要算满全部参数,MoE 把激活参数降下来之后,继续堆稠密参数的经济账越来越难算。MT-NLG 之后,训练栈的演进方向转向了 MoE、更长上下文和更激进的数据配方,但显存墙、通信墙和数值稳定性这三道题,换到今天的大模型上还是要做。

原文链接是 zhuanlan.zhihu.com/p/2005217589220102741,作者是 Lmumu。原始论文是《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model》(arXiv 2201.11990)。DeepSpeed 和 Megatron-LM 的代码分别在 github.com/microsoft/DeepSpeed 和 github.com/NVIDIA/Megatron-LM,The Pile 的数据集页面在 pile.eleuther.ai。