# Drifting Model vs Diffusion：复杂指令理解能力对比

> Drifting Model 与 Diffusion 谁更懂复杂指令？从生成机制对比入手：Diffusion 的多步去噪相当于隐式推理缓冲，Drifting Model 一步生成则必须把全部推理内化进权重。结论：复杂 Prompt 样本稀疏导致漂移场不稳定，多物体、空间关系、否定句场景应选 Diffusion，简单概念则 Drifting Model 更快。

Canonical: https://doraemeng.dev/notes/drifting_vs_diffusion/


先看一个 prompt：「画一只戴眼镜在火星吃拉面的猫」。Diffusion 会把它拆成几十步去噪：先有猫的轮廓，再戴眼镜，再把背景涂成火星，最后把碗里的东西改成拉面。Drifting Model 没有这个中间过程，它要在看到文本的瞬间，把整张图的像素排列一次算出来。这个差别看起来只是采样步数，实际会改变两种模型对复杂指令的容错能力，也会改变训练数据密度的要求。

这篇笔记整理自 Cheza（Upenn NLPer）的知乎文章（https://zhuanlan.zhihu.com/p/2004759114652332877）。原文把比较集中在生成机制、数据稀疏性和工程 trick 三件事上；下面按这三条线重写，并保留评论区里关于消融实验的质疑。

## 两种生成机制

Diffusion 的每一步都在做同一件事：给定当前带噪的样本和文本条件，估计一个分数函数 ∇ log p(x|text)，也就是「在这个噪声水平下，往哪个方向改才能更符合文本」。文本在多步去噪里反复参与条件计算，模型在早期步骤决定大轮廓，到后期步骤再修细节；某一笔走偏，后面的步骤还有机会把它拉回来。这种多步修正不是免费的：采样步数直接换成推理延迟，步数越多，单张图的生成越慢。

Drifting Model 学的是另一个对象：一个漂移场 x → x + V(x, text)。给定起点和文本，网络一次预测出位移，把样本直接推到目标区域。它没有「当前噪声水平」这个变量，也没有中间状态可以让文本重新对齐；文本条件、物体数量、空间关系和否定逻辑，都必须在这一次前向里同时满足。对简单概念，这很划算：一步生成，延迟低。对「火星上的猫」「碗里的东西是拉面」这种组合，一次前向要同时满足的约束太多，原文的判断是映射难度指数级上升，因为网络没有地方暂存「先画什么、后改什么」的中间结果。

## 复杂 Prompt 的样本为什么会稀疏

Drifting Model 的训练依赖正样本群来定义「拉力场」：同类样本越密，场的方向越稳定；样本越稀，场就越容易被单张图片带偏。ImageNet 里的猫提供了足够多的正样本，所以「猫」这个概念可以形成一个密集的目标分布。换成「戴眼镜在火星吃拉面的猫」，满足全部条件的图片可能只有一张，甚至凑不出一个可用的正样本群。这时模型看到的是一片样本云里的一个孤立点；漂移场没有足够的邻居来平均掉噪声，训练很容易退化成记住这张图。

组合条件把数据切得太碎。物体、属性、空间关系、背景每个维度都常见的组合，在联合分布里可能极其罕见。原文的判断是：样本不足时，漂移场计算不稳定，容易过拟合到单张图片。这个判断也解释了为什么 Drifting Model 在简单概念上表现正常，一到多物体、空间关系和否定句就露怯——这些恰恰是最需要密集监督、又最难在数据里凑齐的组合。

Diffusion 对稀疏的容忍度更高，因为它不需要一步定义整个目标分布。每一步只学「在当前噪声水平下往哪走」，文本条件可以在几十个阶段里反复注入；中间步骤出错，后续还有修正机会。原文把这种迭代过程称为一种 Latent Reasoning（隐式推理）：模型没有显式写出推理链，但去噪的每一步都相当于一次条件检查和局部修正。代价是采样慢，而且步数、调度器和条件注入方式都会影响最终质量。

## 工程 trick 与缺失的消融

原文评论区提到一个更现实的问题：Drifting Model 需要大量工程技巧，比如特征 patch 聚合、二阶矩、温度参数，才能把场算稳。这些技巧缺少理论上的完备解释，也缺少消融实验来证明每一项到底贡献了多少。原文展示的结果可能同时依赖模型结构、损失函数和一组没被单独验证的超参数；换一个数据分布，哪一项先失效并不清楚。

评论里还有一条关于步数和梯度的观察：推理时间步数支撑更细腻的梯度响应，步数多才能实现合理的内插和外推；步数不够时，只能用更大的参数空间硬换。这条观察和前面的机制能对上：Diffusion 的多步去噪给条件文本提供了多次调整机会；Drifting Model 把这一步省掉，就得靠更大的容量去记住组合。但容量能补多少、数据密度要到什么量级，原文没有给出数字，[待补：复杂 prompt 下 Drifting Model 的样本量与生成质量曲线、各工程 trick 的消融结果]。

## 选择边界

如果任务集中在简单概念、单物体、短 prompt，Drifting Model 的一步生成有明显的延迟优势，值得优先试。只要需求里出现多物体互动、明确的空间关系或否定句，Diffusion 的多步修正和密集条件注入更稳；它的优势来自生成过程允许模型分阶段满足约束，和「更聪明」无关。对一个要上线的产品，判断标准可以更具体：把线上失败最多的那批 prompt 拿出来，分别跑两种模型，看失败案例集中在物体数量、位置关系还是属性绑定；如果失败集中在组合逻辑，优先选 Diffusion，如果只是单物体渲染质量，Drifting Model 的延迟优势更值钱。

真正没解决的是数据侧：复杂组合的监督从哪来。原文没有给出合成数据、检索增强或更大规模采样的方案，也没有说明 Drifting Model 在多少样本下开始稳定。对做生成系统的人，这比「谁更强」更值得追：如果组合 prompt 的样本密度上不去，一步生成的天花板就摆在那里，换更大的模型只是把过拟合推迟。

