《KIMI K2.5: VISUAL AGENTIC INTELLIGENCE》阅读笔记
目录
Kimi K2.5 技术报告里最反直觉的一条结论是:只用纯文本做 SFT,也能激活视觉推理;强行加入人工设计的视觉轨迹,反而会损害泛化。这条结论如果成立,说明视觉能力并不是在微调阶段「教」出来的,预训练阶段的图文对齐已经把基础打好了。报告的另一半在讲 Agent Swarm:把串行 agent 拆成可并行的子代理,延迟最多降 4.5 倍,Item-level F1 也有提升。能力和收益回答的是不同问题,一个讲模型从哪来,一个讲执行怎么组织。
报告的定位是开源多模态代理模型,目标是通用代理智能——自主规划、工具调用、多步推理和复杂任务执行,视觉只是其中一条能力线。这份笔记整理自欧气满满的知乎文章,原文是技术报告的精读。下面按「多模态联合训练—Agent Swarm 的编排—训练稳定性—效率与账本」四条线重写,保留报告里的关键数字,也标出原文没有交代的部分。
视觉不是外挂:早期融合和 Zero-vision SFT #
K2.5 的预训练没有把视觉 token 当成后加的能力。传统做法通常在文本模型训练到一定程度后再引入视觉,K2.5 在整个训练过程中保持文本与视觉 token 的固定比例混合,让两种模态从一开始就共享同一条优化路径。这个选择影响的不只是视觉 benchmark:如果视觉信号只在后期出现,文本侧的表示已经定型,模型更容易把图像当成一种需要额外翻译的输入;早期融合让图文对齐发生在表示形成的过程中,后面做 SFT 和 RL 时,视觉能力才有机会反过来影响文本。
架构侧的两个细节支撑了这件事。MoonViT-3D 支持原生分辨率输入,不需要把图片强行 resize 到固定尺寸;视频理解用一个轻量级 3D ViT 把连续 4 帧分组,再做时间平均,在相同上下文窗口下能处理 4 倍长度的视频,而且图像和视频编码器完全共享权重。4 倍这个数字来自「4 帧压成 1 帧」的时间压缩,不是模型突然有了更大的窗口;代价是时间平均会抹掉帧间的快速运动,报告没有给出这部分精度损失,[待补:时间平均对高速运动视频的消融数据]。
后训练阶段最反直觉的是 Zero-vision SFT:只用文本数据做监督微调,视觉推理能力也会被激活;强行加入人工设计的视觉轨迹,泛化反而变差。报告的解释是预训练阶段的图文对齐已经足够强,SFT 只需要把推理和工具调用的行为激活出来,不需要再教模型「怎么看图」。这个结论的边界也要看清楚:它说的是 K2.5 这个预训练底座,换一个视觉对齐更弱的模型,文本-only SFT 未必有同样效果;原文没有给出跨模型的对照,[待补:Zero-vision SFT 在不同视觉底座上的对照实验]。
联合 RL 是另一半证据:视觉任务的 RL 训练不仅提升视觉能力,还能反哺文本性能,报告举的例子是 MMLU-Pro 的提升。这说明两个模态的优化目标没有互相打架;至于反哺的机制,一个合理的解释是视觉任务的 grounding 信号在帮助文本推理,报告没有展开。但「反哺」的具体幅度、在哪些文本任务上成立,材料只给了一个例子,[待补:Joint RL 在文本 benchmark 上的完整前后对比]。
Agent Swarm:把串行 CoT 改成关键路径调度 #
传统 agent 遇到复杂任务时,通常是一条串行链:想一步、调一个工具、看结果、再想下一步。任务越复杂,链越长,延迟随步骤线性增长,上下文和工具预算也更容易耗尽。K2.5 的 Agent Swarm 把任务动态拆成子任务,交给多个子代理并发执行;编排器负责拆解、调度和汇总,子代理只负责执行。
训练范式叫 PARL,核心是一个解耦架构:编排器可训练,子代理冻结。子代理的输出被当作环境观测,编排器根据这些观测决定下一步怎么调度。冻结子代理是为了避开端到端联合优化的信用分配问题——如果所有子代理一起训练,一个子任务失败到底该怪编排器的拆解,还是怪子代理的执行,很难归因,训练也容易不稳定;把子代理固定住,训练信号就集中到编排策略上。代价是子代理的能力上限被锁死,编排器再聪明也只能在现有子代理的能力范围内做组合。
并行与否由强化学习根据环境反馈动态决定,没有预设。这里的关键指标是 Critical Steps:它类比计算图里的关键路径,总耗时取决于每一阶段中最慢的那个子代理。假设一个子任务要 10 秒,另外九个只要 1 秒,再增加多少个 1 秒的子代理都不会把总延迟降到 10 秒以下;编排器必须做负载均衡,把长任务切开或者换一种拆法,单纯增加并发数没有用。这个指标比「平均子任务耗时」更接近用户感知,也比「并发数」更难刷。
防作弊奖励是这套框架里很细的一层。$r_{parallel}$ 防止「串行坍塌」:如果模型发现串行更省事,它可能放弃并行,退回单代理;$r_{finish}$ 防止「虚假并行」:如果模型只负责把子代理拉起来,不等它们真正完成就汇报,并行看起来很美,任务其实没做完。两个奖励一个鼓励真的并行,一个要求并行真的产出结果;少了任何一个,模型都有捷径可走。
训练稳定性:token 级裁剪和奖励组合 #
SFT 阶段的数据来自 Kimi K2、K2 Thinking 和内部专家模型的合成,制作流程是特定领域流水线、人工标注、高级提示工程和多阶段验证;目标优先训练交互式推理和精确工具调用。这套流程的重点在「验证」:合成数据便宜,但错误会被 SFT 放大,多阶段验证是在用工程手段换数据质量。
RL 阶段有两个关键设计。策略优化引入了 token 级裁剪,严格基于 log-ratio 限制离线策略漂移,不管优势函数的符号如何;报告说这能显著提升长程、多步工具使用任务的训练稳定性,优化器用 MuonClip。标准 PPO 的裁剪通常围绕概率比展开,K2.5 把粒度落到 token、并且双向限制,目的都是防止单步更新把策略推得太远——长轨迹里一次过大的更新,可能让后面几十步的工具调用全部偏掉。奖励侧则是规则奖励加生成式奖励模型:有标准答案的推理和代理任务用规则,通用任务用 GRM 评有用性、细节、美学和指令遵循,视觉任务再加 grounding IoU、点定位的高斯距离、分割 Mask IoU、OCR 编辑距离这些几何/文本匹配奖励。规则奖励便宜且不可刷,GRM 能覆盖开放式质量,但两者都有代价:规则写不全,GRM 可能被语言风格骗过;原文没有给各奖励项的权重和消融,[待补:奖励权重、GRM 模型规模与消融结果]。
Toggle:用交替训练躲开长度过拟合 #
强制限制 token 预算会遇到一个反效果:模型习惯短思考之后,遇到难题也不会用更多计算资源,报告把它叫长度过拟合。Toggle 的做法是交替两种模式:Phase 0 只在模型准确率超过阈值时限制 token 预算,逼它简洁;Phase 1 不限制预算,允许模型充分利用计算资源追求最佳性能;每 m 次迭代切换一次。效果是输出 token 减少 25~30%,性能几乎无损失,思维链里的冗余模式也少了。
这个策略的巧妙之处在门槛:预算限制只在「已经会做」的样本上施加,模型不会在还没学会解题时被强行压缩推理;等到准确率上来,再用预算逼它去掉冗余。代价是阈值和 m 的选择会直接影响效果,原文没有给出具体取值,[待补:Toggle 的准确率阈值、m 的取值和消融]。另外,25~30% 是输出 token 的节省,不等于端到端成本同比例下降——输入 token、工具调用和重试仍然占账单,报告没有拆这部分。
结果和没算完的账 #
报告声称 K2.5 在代码生成、视觉理解、逻辑推理、多步代理任务等多个 benchmark 上达到 SOTA,image/video-to-code 表现突出;Agent Swarm 相比单代理基线延迟降低高达 4.5 倍,Item-level F1 从 72.8% 提升到 79.0%;Toggle 在数学/代码任务上训练出的效率提升,可以泛化到 GPQA 和 MMLU。这些数字需要看口径:4.5 倍说的是延迟;并行子代理同时跑,总 token 可能更高,报告没有给总 token 和单代理基线的对比,[待补:Agent Swarm 的总 token、失败重试和编排开销]。F1 的提升是 item-level 的,任务级成功率、跨领域泛化没有展开;SOTA 是报告自己的评测结论,材料里没有第三方复现。
真正值得做 agent 基础设施的人追的问题有两个。第一,Critical Steps 的负载均衡在真实工具延迟分布下是否成立——现实里的工具调用有长尾,最慢的子代理可能是刚好撞上限流的那个,未必是任务里最难的;编排器能不能识别并重试,决定了 4.5 倍在线上还剩多少。第二,冻结子代理之后,子代理的能力升级由谁负责;编排器和子代理的版本一旦解耦,换一个更强的子代理是否还能保持原来的调度策略,报告没有回答。这两个问题不解决,Agent Swarm 的延迟优势很难直接换算成线上的吞吐收益。
原文:欧气满满,《KIMI K2.5: VISUAL AGENTIC INTELLIGENCE》阅读笔记,2026-02-27,https://zhuanlan.zhihu.com/p/2010760942347114147。本文删掉了原文的逐条要点,按机制重新组织;标注 [待补] 的地方是材料没有给出、我也没有补假数的部分。