↓跳到主要内容
  1. 技术笔记/

Drifting Model vs Diffusion:复杂指令理解能力对比

··1664 字 ·1 分钟

先看一个 prompt:「画一只戴眼镜在火星吃拉面的猫」。Diffusion 会把它拆成几十步去噪:先有猫的轮廓,再戴眼镜,再把背景涂成火星,最后把碗里的东西改成拉面。Drifting Model 没有这个中间过程,它要在看到文本的瞬间,把整张图的像素排列一次算出来。这个差别看起来只是采样步数,实际会改变两种模型对复杂指令的容错能力,也会改变训练数据密度的要求。

这篇笔记整理自 Cheza(Upenn NLPer)的知乎文章(https://zhuanlan.zhihu.com/p/2004759114652332877)。原文把比较集中在生成机制、数据稀疏性和工程 trick 三件事上;下面按这三条线重写,并保留评论区里关于消融实验的质疑。

两种生成机制 #

Diffusion 的每一步都在做同一件事:给定当前带噪的样本和文本条件,估计一个分数函数 ∇ log p(x|text),也就是「在这个噪声水平下,往哪个方向改才能更符合文本」。文本在多步去噪里反复参与条件计算,模型在早期步骤决定大轮廓,到后期步骤再修细节;某一笔走偏,后面的步骤还有机会把它拉回来。这种多步修正不是免费的:采样步数直接换成推理延迟,步数越多,单张图的生成越慢。

Drifting Model 学的是另一个对象:一个漂移场 x → x + V(x, text)。给定起点和文本,网络一次预测出位移,把样本直接推到目标区域。它没有「当前噪声水平」这个变量,也没有中间状态可以让文本重新对齐;文本条件、物体数量、空间关系和否定逻辑,都必须在这一次前向里同时满足。对简单概念,这很划算:一步生成,延迟低。对「火星上的猫」「碗里的东西是拉面」这种组合,一次前向要同时满足的约束太多,原文的判断是映射难度指数级上升,因为网络没有地方暂存「先画什么、后改什么」的中间结果。

复杂 Prompt 的样本为什么会稀疏 #

Drifting Model 的训练依赖正样本群来定义「拉力场」:同类样本越密,场的方向越稳定;样本越稀,场就越容易被单张图片带偏。ImageNet 里的猫提供了足够多的正样本,所以「猫」这个概念可以形成一个密集的目标分布。换成「戴眼镜在火星吃拉面的猫」,满足全部条件的图片可能只有一张,甚至凑不出一个可用的正样本群。这时模型看到的是一片样本云里的一个孤立点;漂移场没有足够的邻居来平均掉噪声,训练很容易退化成记住这张图。

组合条件把数据切得太碎。物体、属性、空间关系、背景每个维度都常见的组合,在联合分布里可能极其罕见。原文的判断是:样本不足时,漂移场计算不稳定,容易过拟合到单张图片。这个判断也解释了为什么 Drifting Model 在简单概念上表现正常,一到多物体、空间关系和否定句就露怯——这些恰恰是最需要密集监督、又最难在数据里凑齐的组合。

Diffusion 对稀疏的容忍度更高,因为它不需要一步定义整个目标分布。每一步只学「在当前噪声水平下往哪走」,文本条件可以在几十个阶段里反复注入;中间步骤出错,后续还有修正机会。原文把这种迭代过程称为一种 Latent Reasoning(隐式推理):模型没有显式写出推理链,但去噪的每一步都相当于一次条件检查和局部修正。代价是采样慢,而且步数、调度器和条件注入方式都会影响最终质量。

工程 trick 与缺失的消融 #

原文评论区提到一个更现实的问题:Drifting Model 需要大量工程技巧,比如特征 patch 聚合、二阶矩、温度参数,才能把场算稳。这些技巧缺少理论上的完备解释,也缺少消融实验来证明每一项到底贡献了多少。原文展示的结果可能同时依赖模型结构、损失函数和一组没被单独验证的超参数;换一个数据分布,哪一项先失效并不清楚。

评论里还有一条关于步数和梯度的观察:推理时间步数支撑更细腻的梯度响应,步数多才能实现合理的内插和外推;步数不够时,只能用更大的参数空间硬换。这条观察和前面的机制能对上:Diffusion 的多步去噪给条件文本提供了多次调整机会;Drifting Model 把这一步省掉,就得靠更大的容量去记住组合。但容量能补多少、数据密度要到什么量级,原文没有给出数字,[待补:复杂 prompt 下 Drifting Model 的样本量与生成质量曲线、各工程 trick 的消融结果]。

选择边界 #

如果任务集中在简单概念、单物体、短 prompt,Drifting Model 的一步生成有明显的延迟优势,值得优先试。只要需求里出现多物体互动、明确的空间关系或否定句,Diffusion 的多步修正和密集条件注入更稳;它的优势来自生成过程允许模型分阶段满足约束,和「更聪明」无关。对一个要上线的产品,判断标准可以更具体:把线上失败最多的那批 prompt 拿出来,分别跑两种模型,看失败案例集中在物体数量、位置关系还是属性绑定;如果失败集中在组合逻辑,优先选 Diffusion,如果只是单物体渲染质量,Drifting Model 的延迟优势更值钱。

真正没解决的是数据侧:复杂组合的监督从哪来。原文没有给出合成数据、检索增强或更大规模采样的方案,也没有说明 Drifting Model 在多少样本下开始稳定。对做生成系统的人,这比「谁更强」更值得追:如果组合 prompt 的样本密度上不去,一步生成的天花板就摆在那里,换更大的模型只是把过拟合推迟。