# 《KIMI K2.5: VISUAL AGENTIC INTELLIGENCE》阅读笔记

> Kimi K2.5 技术报告解读：开源多模态 Agent 模型的两大突破——文本视觉联合优化（Zero-vision SFT、Joint RL）与 Agent Swarm 并行编排（PARL 解耦训练），延迟降低 4.5 倍、Item-level F1 提升至 79.0%。Toggle 策略让输出 Token 减少 25~30% 且性能几乎无损。

Canonical: https://doraemeng.dev/notes/kimi-k2-5-visual-agentic-intelligence/


Kimi K2.5 技术报告里最反直觉的一条结论是：只用纯文本做 SFT，也能激活视觉推理；强行加入人工设计的视觉轨迹，反而会损害泛化。这条结论如果成立，说明视觉能力并不是在微调阶段「教」出来的，预训练阶段的图文对齐已经把基础打好了。报告的另一半在讲 Agent Swarm：把串行 agent 拆成可并行的子代理，延迟最多降 4.5 倍，Item-level F1 也有提升。能力和收益回答的是不同问题，一个讲模型从哪来，一个讲执行怎么组织。

报告的定位是开源多模态代理模型，目标是通用代理智能——自主规划、工具调用、多步推理和复杂任务执行，视觉只是其中一条能力线。这份笔记整理自欧气满满的知乎文章，原文是技术报告的精读。下面按「多模态联合训练—Agent Swarm 的编排—训练稳定性—效率与账本」四条线重写，保留报告里的关键数字，也标出原文没有交代的部分。

## 视觉不是外挂：早期融合和 Zero-vision SFT

K2.5 的预训练没有把视觉 token 当成后加的能力。传统做法通常在文本模型训练到一定程度后再引入视觉，K2.5 在整个训练过程中保持文本与视觉 token 的固定比例混合，让两种模态从一开始就共享同一条优化路径。这个选择影响的不只是视觉 benchmark：如果视觉信号只在后期出现，文本侧的表示已经定型，模型更容易把图像当成一种需要额外翻译的输入；早期融合让图文对齐发生在表示形成的过程中，后面做 SFT 和 RL 时，视觉能力才有机会反过来影响文本。

架构侧的两个细节支撑了这件事。MoonViT-3D 支持原生分辨率输入，不需要把图片强行 resize 到固定尺寸；视频理解用一个轻量级 3D ViT 把连续 4 帧分组，再做时间平均，在相同上下文窗口下能处理 4 倍长度的视频，而且图像和视频编码器完全共享权重。4 倍这个数字来自「4 帧压成 1 帧」的时间压缩，不是模型突然有了更大的窗口；代价是时间平均会抹掉帧间的快速运动，报告没有给出这部分精度损失，[待补：时间平均对高速运动视频的消融数据]。

后训练阶段最反直觉的是 Zero-vision SFT：只用文本数据做监督微调，视觉推理能力也会被激活；强行加入人工设计的视觉轨迹，泛化反而变差。报告的解释是预训练阶段的图文对齐已经足够强，SFT 只需要把推理和工具调用的行为激活出来，不需要再教模型「怎么看图」。这个结论的边界也要看清楚：它说的是 K2.5 这个预训练底座，换一个视觉对齐更弱的模型，文本-only SFT 未必有同样效果；原文没有给出跨模型的对照，[待补：Zero-vision SFT 在不同视觉底座上的对照实验]。

联合 RL 是另一半证据：视觉任务的 RL 训练不仅提升视觉能力，还能反哺文本性能，报告举的例子是 MMLU-Pro 的提升。这说明两个模态的优化目标没有互相打架；至于反哺的机制，一个合理的解释是视觉任务的 grounding 信号在帮助文本推理，报告没有展开。但「反哺」的具体幅度、在哪些文本任务上成立，材料只给了一个例子，[待补：Joint RL 在文本 benchmark 上的完整前后对比]。

## Agent Swarm：把串行 CoT 改成关键路径调度

传统 agent 遇到复杂任务时，通常是一条串行链：想一步、调一个工具、看结果、再想下一步。任务越复杂，链越长，延迟随步骤线性增长，上下文和工具预算也更容易耗尽。K2.5 的 Agent Swarm 把任务动态拆成子任务，交给多个子代理并发执行；编排器负责拆解、调度和汇总，子代理只负责执行。

训练范式叫 PARL，核心是一个解耦架构：编排器可训练，子代理冻结。子代理的输出被当作环境观测，编排器根据这些观测决定下一步怎么调度。冻结子代理是为了避开端到端联合优化的信用分配问题——如果所有子代理一起训练，一个子任务失败到底该怪编排器的拆解，还是怪子代理的执行，很难归因，训练也容易不稳定；把子代理固定住，训练信号就集中到编排策略上。代价是子代理的能力上限被锁死，编排器再聪明也只能在现有子代理的能力范围内做组合。

并行与否由强化学习根据环境反馈动态决定，没有预设。这里的关键指标是 Critical Steps：它类比计算图里的关键路径，总耗时取决于每一阶段中最慢的那个子代理。假设一个子任务要 10 秒，另外九个只要 1 秒，再增加多少个 1 秒的子代理都不会把总延迟降到 10 秒以下；编排器必须做负载均衡，把长任务切开或者换一种拆法，单纯增加并发数没有用。这个指标比「平均子任务耗时」更接近用户感知，也比「并发数」更难刷。

防作弊奖励是这套框架里很细的一层。$r_{parallel}$ 防止「串行坍塌」：如果模型发现串行更省事，它可能放弃并行，退回单代理；$r_{finish}$ 防止「虚假并行」：如果模型只负责把子代理拉起来，不等它们真正完成就汇报，并行看起来很美，任务其实没做完。两个奖励一个鼓励真的并行，一个要求并行真的产出结果；少了任何一个，模型都有捷径可走。

## 训练稳定性：token 级裁剪和奖励组合

SFT 阶段的数据来自 Kimi K2、K2 Thinking 和内部专家模型的合成，制作流程是特定领域流水线、人工标注、高级提示工程和多阶段验证；目标优先训练交互式推理和精确工具调用。这套流程的重点在「验证」：合成数据便宜，但错误会被 SFT 放大，多阶段验证是在用工程手段换数据质量。

RL 阶段有两个关键设计。策略优化引入了 token 级裁剪，严格基于 log-ratio 限制离线策略漂移，不管优势函数的符号如何；报告说这能显著提升长程、多步工具使用任务的训练稳定性，优化器用 MuonClip。标准 PPO 的裁剪通常围绕概率比展开，K2.5 把粒度落到 token、并且双向限制，目的都是防止单步更新把策略推得太远——长轨迹里一次过大的更新，可能让后面几十步的工具调用全部偏掉。奖励侧则是规则奖励加生成式奖励模型：有标准答案的推理和代理任务用规则，通用任务用 GRM 评有用性、细节、美学和指令遵循，视觉任务再加 grounding IoU、点定位的高斯距离、分割 Mask IoU、OCR 编辑距离这些几何/文本匹配奖励。规则奖励便宜且不可刷，GRM 能覆盖开放式质量，但两者都有代价：规则写不全，GRM 可能被语言风格骗过；原文没有给各奖励项的权重和消融，[待补：奖励权重、GRM 模型规模与消融结果]。

## Toggle：用交替训练躲开长度过拟合

强制限制 token 预算会遇到一个反效果：模型习惯短思考之后，遇到难题也不会用更多计算资源，报告把它叫长度过拟合。Toggle 的做法是交替两种模式：Phase 0 只在模型准确率超过阈值时限制 token 预算，逼它简洁；Phase 1 不限制预算，允许模型充分利用计算资源追求最佳性能；每 m 次迭代切换一次。效果是输出 token 减少 25~30%，性能几乎无损失，思维链里的冗余模式也少了。

这个策略的巧妙之处在门槛：预算限制只在「已经会做」的样本上施加，模型不会在还没学会解题时被强行压缩推理；等到准确率上来，再用预算逼它去掉冗余。代价是阈值和 m 的选择会直接影响效果，原文没有给出具体取值，[待补：Toggle 的准确率阈值、m 的取值和消融]。另外，25~30% 是输出 token 的节省，不等于端到端成本同比例下降——输入 token、工具调用和重试仍然占账单，报告没有拆这部分。

## 结果和没算完的账

报告声称 K2.5 在代码生成、视觉理解、逻辑推理、多步代理任务等多个 benchmark 上达到 SOTA，image/video-to-code 表现突出；Agent Swarm 相比单代理基线延迟降低高达 4.5 倍，Item-level F1 从 72.8% 提升到 79.0%；Toggle 在数学/代码任务上训练出的效率提升，可以泛化到 GPQA 和 MMLU。这些数字需要看口径：4.5 倍说的是延迟；并行子代理同时跑，总 token 可能更高，报告没有给总 token 和单代理基线的对比，[待补：Agent Swarm 的总 token、失败重试和编排开销]。F1 的提升是 item-level 的，任务级成功率、跨领域泛化没有展开；SOTA 是报告自己的评测结论，材料里没有第三方复现。

真正值得做 agent 基础设施的人追的问题有两个。第一，Critical Steps 的负载均衡在真实工具延迟分布下是否成立——现实里的工具调用有长尾，最慢的子代理可能是刚好撞上限流的那个，未必是任务里最难的；编排器能不能识别并重试，决定了 4.5 倍在线上还剩多少。第二，冻结子代理之后，子代理的能力升级由谁负责；编排器和子代理的版本一旦解耦，换一个更强的子代理是否还能保持原来的调度策略，报告没有回答。这两个问题不解决，Agent Swarm 的延迟优势很难直接换算成线上的吞吐收益。

原文：欧气满满，《KIMI K2.5: VISUAL AGENTIC INTELLIGENCE》阅读笔记，2026-02-27，https://zhuanlan.zhihu.com/p/2010760942347114147。本文删掉了原文的逐条要点，按机制重新组织；标注 [待补] 的地方是材料没有给出、我也没有补假数的部分。

