核心矛盾

• 持续学习：获得新技能和新知识，同时不损害已有能力。目前部署后的模型参数是静态的。
• on-policy 训练（在模型自己的采样上学习）比 off-policy 训练遗忘少得多（RL's Razor，Shenfeld 等 2025；Chen 等 2025），泛化也更好（Chu 等 2025）。
• 成功的 on-policy 方法大多是强化学习，需要显式奖励，而很多实际场景没有奖励。
• 从示范学习以 SFT 为主：在固定的专家分布上训练，测试时误差累积（Ross 等 2011），并造成灾难性遗忘。

问题：只有示范时，如何做 on-policy 学习？

目标函数

从学生采样 $y$，最小化学生到教师的 KL：

第一步，对 (1) 求梯度。$\theta$ 同时出现在采样分布和 log 比值里；对前者用 score-function 恒等式 $\nabla\pi_\theta=\pi_\theta\nabla\log\pi_\theta$，后者贡献 $\mathbb{E}_{y\sim\pi_\theta}[\nabla_\theta\log\pi_\theta(y\mid x)]=0$：

第二步，按 token 近似。$\log\pi(y\mid x)=\sum_t\log\pi(y_t\mid y_{\lt t},x)$。论文在每个位置只保留该位置的 KL，并对整个词表 $\mathcal{V}$ 精确求和（analytic per-token estimator）：

(2) 不等于 (2a)：它丢掉了 $y_t$ 对后续 token 比值的影响，等价于在固定的学生前缀上最小化 $\sum_t D_{\mathrm{KL}}$。这就是附录 A.1 所说的“序列层面有偏”。

• 监督信号稠密：每个 token、覆盖整个词表；每个问题只需一次 rollout，而 GRPO 类方法每条轨迹只有一个 advantage，且需要一组采样。
• 理论上应使用 reverse KL，但实践中 forward KL 效果最好；仓库 README（2026-04-07）说明论文所有结果都使用 per-token forward KL。

算法 1（SDFT）

推导（§3.1）

1. Trust-region RL 一步更新（$\pi_k=\pi_{\theta_k}$ 为当前学生，$\pi$ 遍历所有策略）：
   $$\pi_{k+1}=\arg\max_{\pi}\ \mathbb{E}_{y\sim\pi}\big[r(y,x)\big]-\beta\,D_{\mathrm{KL}}\big(\pi(\cdot\mid x)\,\|\,\pi_k(\cdot\mid x)\big)$$(3)
2. 闭式最优解是 tilted distribution $\pi^*_{k+1}(y\mid x)\propto\pi_k(y\mid x)\,e^{r(y,x)/\beta}$，因此
   $$r(y,x)=\beta\big[\log\pi^*_{k+1}(y\mid x)-\log\pi_k(y\mid x)\big]+C$$
3. In-context assumption：以示范为条件的同一模型（参数 $\theta_k$）近似未知的最优策略
   $$\pi^*_{k+1}(y\mid x)\approx\pi(y\mid x,c)$$(4)
4. 隐式奖励（去掉 $\beta$ 和 $C$）及其 per-token 形式，后者求和即为前者：
   $$r(y,x,c)=\log\frac{\pi(y\mid x,c)}{\pi_k(y\mid x)},\qquad r_t=\log\frac{\pi(y_t\mid y_{\lt t},x,c)}{\pi_k(y_t\mid y_{\lt t},x)}$$(5)
5. Policy gradient （在 $\theta=\theta_k$ 处求值，奖励固定）
   $$\nabla_\theta J\big|_{\theta_k}=\mathbb{E}_{y\sim\pi_k}\left[\log\frac{\pi(y\mid x,c)}{\pi_k(y\mid x)}\,\nabla_\theta\log\pi_\theta(y\mid x)\big|_{\theta_k}\right]$$(6)
   恰好等于式 (2a) 在 $\theta=\theta_k$ 处取负：最大化该奖励即最小化 reverse KL。实际使用的式 (2) 是 (2a) 的 per-token 近似。

条件一：最优性

• 作者人工检查了 50 条教师推理轨迹：最终工具调用全部正确，且中间推理有效、有依据。
• 说明教师是在重建推理过程，而非照抄示范的输出。

条件二：最小偏离

• 教师达到与 SFT 相同的新任务准确率，但偏离基座的程度只有约一半（图 2 右）。
• 这里用 $\pi_0$ 代替训练中的 $\pi_k$ 作为参照。
• 两项检验都是经验性的，且只在一个任务上做；论文没有从理论上验证该假设。

③ 经验规律（RL's Razor 等）

作者先前的工作（Shenfeld 等 2025）及 Chen 等 2025 发现：遗忘程度随微调后策略与基座策略在新任务输入上的 KL 散度增大而增大，

并且 on-policy 训练会倾向于选择 KL 较小的解，而 SFT 不会。

这是相关性规律，不是定理；本文直接引用，未重新推导。

直观对比：两种梯度

SFT 在专家前缀上提高专家 token 的概率：

若 $\pi_\theta(y^\star_t\mid\cdot)$ 很小，梯度会强行搬动大量概率质量，参数改动也会波及无关输入。

SDFT 在学生自己的前缀 $y\sim\pi_\theta$ 上，向同一模型给出的分布 $\pi(\cdot\mid y_{\lt t},x,c)$ 靠拢：目标本就在模型自身的分布附近，所需改动更小。

论证的缺口

• KL 方向：推导针对 reverse KL，实际运行用的是 per-token forward KL，IRL 论证并不覆盖实际损失。
• Estimator：analytic per-token estimator 在序列层面有偏（附录 A.1），又一处偏离。
• EMA 教师：推导假设教师基于 $\pi_k$；EMA 教师滞后于学生，目标只是近似。
• 证据薄弱：“最小偏离”只靠一个任务上的一组数字（0.68 vs 1.26），且参照的是 $\pi_0$ 而非各步的 $\pi_k$。
• 没有对旧任务的保证：KL 在新任务的输入上测量，对其他输入上的表现没有任何界。
• 遗忘仍然存在：Science Q&A 训练后 IFEval 从 74.3 降到 66.8，只能说“遗忘更少”。

技能学习

选择模型未专门调优过的任务（不同于数学、代码）。

• Science Q&A：SciKnowEval 化学 L-3 子集，多选题，75/5/20 划分。示范由 GPT-4o 生成，保留答案正确的一条（每题最多采样 8 次）。
• Tool Use：ToolAlpaca，沿用原始划分与示范。用正则匹配 API 调用评分，允许参数顺序不同。
• Medical：HuatuoGPT-o1。约 2 万条英文 SFT 数据用于训练；1,000 道可验证题用于评测，由 GPT-5-mini 判分。

知识获取

• 约 20 万 token 的维基百科文章，内容为 2025 年的自然灾害，在模型知识截止之后（缅甸和堪察加地震、飓风 Melissa、得州中部洪水等）。
• 用 GPT-5 从文章生成问答对，规模约为原文的 5 倍。
• 指标：strict（所有细节正确）、lenient（包含正确信息且无错误）、OOD：需要这些事实但不直接提及的间接问题（如“2025 年哪些国家需要国际人道主义援助？”）。

Science Q&A

Tool Use

Medical

模型规模（图 5 左）

• 3B 时教师的 ICL 太弱，SDFT 不如 SFT。
• 差距随规模增大；作者预期更大的模型收益更多。
• 只在一个任务、一个模型家族上测了三个规模。

pass@k（图 5 右）

结果（表 1）

• CPT 几乎无效，与 Mecklenburg 等 2024 一致。
• SFT strict 准确率 80，但 OOD 仍只有 80：它学会复述答案，而没有把事实融入知识。
• SDFT strict 89，OOD 98。

教师需要看到什么（附录 A.2）

• 以往用于知识注入的自蒸馏（Cartridges；Kujanpää 等 2025）只让教师看原始语料，并且 offline 训练。
• 在教师上下文中加入解答，比只给文章高 14 分。

Olmo-3-7B-Think，Medical 任务（数据中没有 CoT）

Offline vs on-policy（图 6）

教师参数（图 8）

Ablation 汇总

图 6、8 只有曲线（准确率坐标 35–70），没有列出最终数值。

与 RL 的关系

• 监督假设不同：示范而无奖励，vs 有奖励并通过探索优化。
• 可以结合：用 SDFT 作为 RL 前的初始化（pass@k 的提升支持这一点），或混合两种信号。
• 每步比 GRPO 便宜：每题一次 rollout，credit assignment 到 token 甚至 logit 级别。

代价与失效模式

• 计算量：约为 SFT 的 2.5 倍 FLOPs、4 倍 wall-clock 时间。若与“SFT + 恢复阶段”（如 Re-invoke）相比，总时间可能更少。
• 学到 artifacts：学生会模仿教师的 “Following the example…” 之类措辞；屏蔽前几个 token 是启发式修补。
• 需要强 ICL：3B 时失效。
• 只能做小幅行为改变：无法让非推理模型学会写 CoT。
• 仍有遗忘（如 Science Q&A 后 IFEval 74.3 → 66.8）。

未来工作

• 与 on-policy RL 结合：先 SDFT 再 RL，或同时混合示范信号与奖励信号。
• 进一步减少残余的遗忘。
• 从非专家或带噪声的示范中学习。
• 从非结构化数据（如用户对话）中学习，面向真实的持续学习场景。

贡献

SDFT 让模型在只有示范、没有奖励的情况下做 on-policy 学习：学生在自己的 rollout 上，向以示范为条件的同一模型（EMA 权重）蒸馏。在 Qwen2.5-7B 的技能学习和知识注入任务上，它的新任务表现高于 SFT，同时几乎不损失旧能力。

值得记住的结果

• 学得更多、忘得更少：Tool Use 70.6 vs SFT 63.2；旧任务平均 65.4 vs 56.0（基座 65.5）。
• 知识真正被整合：新注入事实的 OOD 准确率 98 vs SFT 80，接近 oracle RAG 的 100。
• 推理模型可用 answer-only 数据：Olmo-3-7B-Think 在 Medical 上 43.7 vs SFT 23.5，回答长度保持 91%。
• 关键是 on-policy：同一个教师做 offline 蒸馏，始终低于 SDFT（图 6）。
• 依赖 ICL 能力：3B 时比 SFT 低 3.3，14B 时高 6.9。

证据较强的部分

• 遗忘的减少很一致：3 个任务 × 6 个旧基准，SDFT 的旧任务平均分最多比基座低 1.0；TruthfulQA 上 SFT、DFT 降 7.7–11.1，SDFT 不超过 1.4（表 5）。
• 机制被隔离了：图 6 固定教师、只改变训练分布，直接说明增益来自 on-policy，而不只是教师质量。
• 设计选择都有 ablation：教师上下文（图 7）、教师参数（图 8）、KL estimator（附录 A.1）各自都做了对照。
• 不只是变尖锐：pass@k 在 $k\le 128$ 上一致领先（图 5 右）。
• 三个顺序任务上的累积学习曲线与单任务结论一致（图 3）。

证据薄弱之处

• 理论不覆盖实际损失：§3.1 的 IRL 等价针对 reverse KL，而所有结果都用 per-token forward KL（README，2026-04-07）；analytic estimator 在序列层面有偏（附录 A.1）。
• “最小偏离”只有一个数字：0.68 vs 1.26 nats，单一任务，且参照 $\pi_0$ 而非各步的 $\pi_k$（§3.2）。
• 范围窄：几乎全部是 Qwen2.5-7B；规模实验只在 Science Q&A；推理模型只有 Olmo-3-7B-Think 一个。
• 计算量未对齐：SDFT 约 2.5 倍 FLOPs，且训练 2–4 epoch；没有等计算量的 SFT 或 RL 对照。
• 不确定性没有展示：附录 B.2 称报告 3 个 seed 的 95% CI，但表 1、2、5 没有区间。
• 判分与旧能力度量：Medical 和知识任务由 GPT-5-mini 判分；旧能力套件里没有数学或长推理基准。

开放问题

• 用 reverse KL（与理论一致）训练，结果是否相同？forward 与 reverse 的直接对比没有报告。
• 等 FLOPs 预算下，SDFT 对比 SFT 多 epoch、对比 RL（若有奖励）如何？
• 对 thinking 模型，教师 prompt 会不会改变推理风格并把它蒸馏给学生？
• 30B 以上、其他模型家族、更长的任务序列上能否保持？
• 示范有噪声或来自弱模型时，教师是否仍满足“最优性”条件？

核心局限

• 代理指标：“遗忘少”的依据是经验相关性：遗忘随微调模型与基座在新任务输入上的 KL 增大而增大（RL's Razor 等）。SDFT 压低的是学生到教师的 KL，再借“教师靠近基座”间接压低这个量。两步都是代理，这是最关键的局限。
• 测错了地方：新任务输入上的 KL 小，不保证旧任务输入上的 KL 小；而我们真正关心的是后者。参数是共享的，新任务上的小改动可以在别处产生大变化。
• 锚点在移动：每一步只相对当前策略 $\pi_k$（实现中由 EMA 教师近似）是最小改动，而不是相对基座 $\pi_0$。许多小步串起来，对 $D_{\mathrm{KL}}(\pi_K\,\|\,\pi_0)$ 没有累积上界。

可探索方向

• 在训练循环里加入任务外锚点。训练 batch 中混入保留 prompt $x\sim\mathcal{D}_{\text{ret}}$：新任务 prompt 照常用 EMA 教师（$\mathcal{L}_{\text{SDFT}}$）；保留 prompt 没有示范，EMA 教师只是学生的滞后副本，因此锚定到基座 $\pi_0$：
  $$\mathcal{L}=\mathcal{L}_{\text{SDFT}}+\lambda\,\mathbb{E}_{x\sim\mathcal{D}_{\text{ret}},\,y\sim\pi_\theta}\sum_t w_t\,D_{\mathrm{KL}}\big(\pi_\theta(\cdot\mid y_{\lt t},x)\,\|\,\pi_0(\cdot\mid y_{\lt t},x)\big)$$
  直接约束旧输入上的 KL，同时给出一个不随 $k$ 漂移的锚点。需要对照的基线：普通 replay，以及 LwF 式蒸馏。
• 选择性保留（加分项）。并非基座在保留 prompt 上的每个 token 都值得保留；每个位置的权重 $w_t$ 表示保留力度。启发式：基座越确定的位置权重越高，例如 $w_t=\exp\!\big(-H(\pi_0(\cdot\mid y_{\lt t},x))\big)$。
• 闭环调节 $\lambda$。每隔固定步数在旧任务上评测，据此调整 $\lambda$ 或保留 prompt 的比例。这是 batch 级的控制，与 token 级的 $w_t$ 互补。
• 更长的任务序列。在比论文三任务更长的序列上评测，记录遗忘何时出现、出现在哪类能力上。