# From 10% to 96%: Qwen2.5-0.5B 文本分类微调实践

> Qwen2.5-0.5B 文本分类微调实践：基于 llama.cpp 做 CPU 部署（延迟约 300ms/请求），通过在 prompt+answer 上计算 loss、加 warmup 与 weight decay、混入 20% DeepSeek-R1 蒸馏数据，将分类准确率从 10.59% 提升至 95.61%。实验还发现小模型对训练技巧的敏感度明显高于 3B 模型。

Canonical: https://doraemeng.dev/notes/qwen2.5-0.5b-text-classification-finetuning/


> 原文链接：https://zhuanlan.zhihu.com/p/2010718456983618357　作者：钅钅钅　编辑时间：2026-02-27。本文在原帖基础上重排了实验记录。

基线准确率 10.59%，召回率 15.34%。这是一个 0.5B 模型在 CPU 上做文本分类的起点，模型几乎没有把输入和类别对上，输出接近未学习状态。作者用 llama.cpp 部署，把 prompt 约束成只生成一个分类 token，再启用 prefix cache 复用 prompt 的 KV；单请求延迟约 300ms，作者在评论区给出的 CPU 生成速度是 2.1 tokens/s。这两组数的口径不同：2.1 tokens/s 对应约 476ms/token，300ms 更像是短 prompt 加单 token 输出的端到端值，而且原帖没有给 CPU 型号、线程数和延迟分位数。下面的微调实验把准确率推到 95.61%，召回率推到 96.18%，每一步的增益都单独记了账。

## CPU 部署：两个优化撑起 300ms

部署配置只有两项：推理框架 llama.cpp，硬件 CPU only。优化也做了两件事。prompt 被约束成只输出 1 个 token 的分类选项，这直接砍掉了生成阶段的长度；prefix cache 则把固定 prompt 的 KV 缓存下来，后续请求不必重复计算。分类任务的 prompt 前缀通常固定，prefix cache 的命中率高，这是 300ms 能成立的前提。换成自由生成，或者每个请求的 prompt 都不同，这两个优化都会失效。原帖没给 CPU 型号、线程数和 P50/P95 延迟，这组数只能当量级参考；要复现，先补 `[待补：CPU 型号、线程数、测试集规模与延迟分位数]`。

## 微调：从 10.59% 到 93.54%

数据分两步来。作者先收集各类别的标准说法和泛化说法，再用 Qwen2.5-32B 合成；合成结果里混进了不属于任何类别的样本，人工标注后被保留成 other 类，最终得到 2 万条数据。这个 other 类等于给模型一个拒识出口：线上遇到封闭类别之外的输入，模型不必硬塞进某一类。

未微调时模型对分类任务几乎没有理解。第一组训练用默认策略：学习率 3e-5，linear decay，batch size 2。训练后 Accuracy 93.54%、Recall 92.69%。微调明显有效，但距离最终的 95.61% 还有约 2 个百分点。

第二组改 loss 的计算位置。只在 answer 上算，是 93.54%/92.69%；在 prompt+answer 上算，升到 94.74%/93.78%；只在 prompt 上算，掉到 10.07%/13.86%，比不训练还差。作者的解释是 prompt 里包含各选项的含义解释，模型在 prompt+answer 上能学到选项语义到答案的映射；只在 prompt 上算 loss，等于让模型拟合没有答案的信息，反而破坏分类能力。这个现象在小模型上出现，在 Qwen2.5-3B 上同样的改动没有明显提升，作者据此判断小模型对 loss 位置更敏感。一次跨模型对照还不足以把它当成定律，3B 上的超参设置是否和 0.5B 同等强度，原帖没有交代。

第三组加 warmup ratio 20% 和 weight decay 0.01，Accuracy 95.11%、Recall 95.08%。作者判断这是缓解了对微调数据的过拟合。3B 上同样没有明显提升，作者推测参数量增加后模型容量更大，对训练技巧的敏感度降低。这个推测只有一组跨模型对照，不能当成定律；3B 上没做同等强度的超参搜索，收益不显著也可能只是没调到位。

继续调参，指标在 95% 附近停住，没有突破。最后一组混入 DeepSeek-R1 的问答蒸馏数据，比例按 1:4 和 1:1 两档试。1:4（20%）时，Accuracy 95.61%、Recall 96.18%；1:1 时反而降到 94.71%/95.30%。作者的处理是把 R1 的思考过程去掉，只保留最终答案，因为目标模型本身不输出推理链。20% 的蒸馏数据带来约 0.5 个百分点的准确率提升（95.11%→95.61%）和约 1.1 个百分点的召回提升（95.08%→96.18%），比例再高就开始拖后腿；作者把原因归到分布偏移，蒸馏数据的分布和目标业务不完全一致，比例越高，模型越容易被带偏。3B 上仍然没有明显提升。

## 几个阶段串起来

最终结果如下。表里的 Δ 是相对上一阶段，不是相对基线，读的时候别把 +83%、+1.2%、+0.4%、+0.8% 直接当成四个独立增益相加。

| Stage | Accuracy | Recall | Δ |
|-------|----------|--------|---|
| Baseline | 10.59% | 15.34% | - |
| + Default FT | 93.54% | 92.69% | +83% |
| + prompt+answer loss | 94.74% | 93.78% | +1.2% |
| + warmup + wd | 95.11% | 95.08% | +0.4% |
| + Distill (1:4) | 95.61% | 96.18% | +0.8% |

从 10.59% 到 95.61%，默认微调贡献了约 83 个百分点，后面三组技巧合计约 2 个百分点。这个分布说明，先把监督信号和任务对齐，比在训练技巧上抠 0.5 个百分点更重要。

## 这组数的边界

这组数的统计口径也要说清楚：原帖只给了单次结果，没有报告随机种子和多次运行的方差；1 个百分点左右的提升在分类任务上可能被数据划分的波动吃掉。要把它当成可复现的结论，至少补上 `[待补：多种子重复实验的均值/方差、测试集规模与类别分布]`。另外，这批数据里各类别多少、other 类占比多少，原帖没有给；如果线上 other 类比例远高于训练集，95.61% 这个总数会迅速失真。

这套流程能成立，有几个前提。任务是封闭类别加 other，类别定义稳定；prompt 前缀固定，prefix cache 才有效；延迟要求是 300ms 量级，换成 50ms 的在线场景，CPU 2.1 tokens/s 就不够看。作者留了两个后续方向：更大的 teacher model 和进一步的数据增强，但都没有给出结果。真正要先补的是评测：测试集多大、各类别多少、other 类占比多少，这些决定了 95.61% 能不能代表线上。下一步该做的是把线上分布拉进测试集，再谈换 teacher。

