↓跳到主要内容
  1. 技术笔记/

From 10% to 96%: Qwen2.5-0.5B 文本分类微调实践

··1598 字 ·2 分钟

原文链接:https://zhuanlan.zhihu.com/p/2010718456983618357 作者:钅钅钅 编辑时间:2026-02-27。本文在原帖基础上重排了实验记录。

基线准确率 10.59%,召回率 15.34%。这是一个 0.5B 模型在 CPU 上做文本分类的起点,模型几乎没有把输入和类别对上,输出接近未学习状态。作者用 llama.cpp 部署,把 prompt 约束成只生成一个分类 token,再启用 prefix cache 复用 prompt 的 KV;单请求延迟约 300ms,作者在评论区给出的 CPU 生成速度是 2.1 tokens/s。这两组数的口径不同:2.1 tokens/s 对应约 476ms/token,300ms 更像是短 prompt 加单 token 输出的端到端值,而且原帖没有给 CPU 型号、线程数和延迟分位数。下面的微调实验把准确率推到 95.61%,召回率推到 96.18%,每一步的增益都单独记了账。

CPU 部署:两个优化撑起 300ms #

部署配置只有两项:推理框架 llama.cpp,硬件 CPU only。优化也做了两件事。prompt 被约束成只输出 1 个 token 的分类选项,这直接砍掉了生成阶段的长度;prefix cache 则把固定 prompt 的 KV 缓存下来,后续请求不必重复计算。分类任务的 prompt 前缀通常固定,prefix cache 的命中率高,这是 300ms 能成立的前提。换成自由生成,或者每个请求的 prompt 都不同,这两个优化都会失效。原帖没给 CPU 型号、线程数和 P50/P95 延迟,这组数只能当量级参考;要复现,先补 [待补:CPU 型号、线程数、测试集规模与延迟分位数]。

微调:从 10.59% 到 93.54% #

数据分两步来。作者先收集各类别的标准说法和泛化说法,再用 Qwen2.5-32B 合成;合成结果里混进了不属于任何类别的样本,人工标注后被保留成 other 类,最终得到 2 万条数据。这个 other 类等于给模型一个拒识出口:线上遇到封闭类别之外的输入,模型不必硬塞进某一类。

未微调时模型对分类任务几乎没有理解。第一组训练用默认策略:学习率 3e-5,linear decay,batch size 2。训练后 Accuracy 93.54%、Recall 92.69%。微调明显有效,但距离最终的 95.61% 还有约 2 个百分点。

第二组改 loss 的计算位置。只在 answer 上算,是 93.54%/92.69%;在 prompt+answer 上算,升到 94.74%/93.78%;只在 prompt 上算,掉到 10.07%/13.86%,比不训练还差。作者的解释是 prompt 里包含各选项的含义解释,模型在 prompt+answer 上能学到选项语义到答案的映射;只在 prompt 上算 loss,等于让模型拟合没有答案的信息,反而破坏分类能力。这个现象在小模型上出现,在 Qwen2.5-3B 上同样的改动没有明显提升,作者据此判断小模型对 loss 位置更敏感。一次跨模型对照还不足以把它当成定律,3B 上的超参设置是否和 0.5B 同等强度,原帖没有交代。

第三组加 warmup ratio 20% 和 weight decay 0.01,Accuracy 95.11%、Recall 95.08%。作者判断这是缓解了对微调数据的过拟合。3B 上同样没有明显提升,作者推测参数量增加后模型容量更大,对训练技巧的敏感度降低。这个推测只有一组跨模型对照,不能当成定律;3B 上没做同等强度的超参搜索,收益不显著也可能只是没调到位。

继续调参,指标在 95% 附近停住,没有突破。最后一组混入 DeepSeek-R1 的问答蒸馏数据,比例按 1:4 和 1:1 两档试。1:4(20%)时,Accuracy 95.61%、Recall 96.18%;1:1 时反而降到 94.71%/95.30%。作者的处理是把 R1 的思考过程去掉,只保留最终答案,因为目标模型本身不输出推理链。20% 的蒸馏数据带来约 0.5 个百分点的准确率提升(95.11%→95.61%)和约 1.1 个百分点的召回提升(95.08%→96.18%),比例再高就开始拖后腿;作者把原因归到分布偏移,蒸馏数据的分布和目标业务不完全一致,比例越高,模型越容易被带偏。3B 上仍然没有明显提升。

几个阶段串起来 #

最终结果如下。表里的 Δ 是相对上一阶段,不是相对基线,读的时候别把 +83%、+1.2%、+0.4%、+0.8% 直接当成四个独立增益相加。

StageAccuracyRecallΔ
Baseline10.59%15.34%-
+ Default FT93.54%92.69%+83%
+ prompt+answer loss94.74%93.78%+1.2%
+ warmup + wd95.11%95.08%+0.4%
+ Distill (1:4)95.61%96.18%+0.8%

从 10.59% 到 95.61%,默认微调贡献了约 83 个百分点,后面三组技巧合计约 2 个百分点。这个分布说明,先把监督信号和任务对齐,比在训练技巧上抠 0.5 个百分点更重要。

这组数的边界 #

这组数的统计口径也要说清楚:原帖只给了单次结果,没有报告随机种子和多次运行的方差;1 个百分点左右的提升在分类任务上可能被数据划分的波动吃掉。要把它当成可复现的结论,至少补上 [待补:多种子重复实验的均值/方差、测试集规模与类别分布]。另外,这批数据里各类别多少、other 类占比多少,原帖没有给;如果线上 other 类比例远高于训练集,95.61% 这个总数会迅速失真。

这套流程能成立,有几个前提。任务是封闭类别加 other,类别定义稳定;prompt 前缀固定,prefix cache 才有效;延迟要求是 300ms 量级,换成 50ms 的在线场景,CPU 2.1 tokens/s 就不够看。作者留了两个后续方向:更大的 teacher model 和进一步的数据增强,但都没有给出结果。真正要先补的是评测:测试集多大、各类别多少、other 类占比多少,这些决定了 95.61% 能不能代表线上。下一步该做的是把线上分布拉进测试集,再谈换 teacher。