先看证据
把机制串起来
多轮智能体不是每回合都在同一个状态里答题：一次错误行动会改变后续可见状态，因此可能让后面的正确行动也救不回来。论文把会延长完成任务最短路径、甚至使任务不可解的行动称为“关键错误”；能否在错误发生后恢复，是区别于单纯提高首步正确率的另一项能力。蒸馏是用较强教师提供的信号训练学生，OPD（on-policy distillation）则让监督落在学生自己实际走出的轨迹上。
教师回看学生轨迹及其结果，提出关键回合和目标行动；在 ALFWorld，研究者另用符号 oracle 标注最短路径变化，发现教师定位结果在 77.8% 的失败轨迹中距 oracle 回合不超过一回合。预防阶段把目标行动作为提示交给冻结的学生副本，让它为学生原回答打分，再用反向 KL 信号压低错误选择倾向。恢复阶段则在关键错误后的至多 K 个回合里，由教师给出恢复行动，带提示的学生副本生成恢复回答，再用正向 KL 训练未提示的学生；这样能把学生平常很少采样到的补救行为传过去。教
['适合可重置、可回放且能判定任务进度的环境', '先验证教师关键回合与目标行动，再扩大蒸馏', '按验证集调恢复步数K，别直接迁移超参数', '非回放环境或教师不可靠时，收益尚无充分证据']
早期一步走错，后面可能不是多试几次就能补救
NVIDIA 研究者与普林斯顿大学、马里兰大学的合作者提出了 PivotOPD，一种面向多轮大语言模型智能体的 on-policy 蒸馏方法。它针对的不是模型答错一道题，而是智能体在执行任务时做出一个改变后续局面的行动：例如把完成任务所需的最短路径拉长，甚至让任务变得无解。研究者把这种行动称为“关键错误”，并尝试同时训练模型避免它，以及在它已经发生后找到补救路径。
这个问题容易被常见的成功率指标遮住。在 ALFWorld 分析的失败轨迹中，超过一半包含关键错误；首次关键错误通常出现在 30 回合任务的第 8 到第 12 回合，之后智能体还会浪费 18 到 21 回合，却没有恢复。更直接的回放实验显示，纠正关键回合后，Qwen3-8B 的成功率从 8% 升至 59%；保留原错误、只强制接下来两步采取正确行动，也达到 58%。这说明瓶颈未必只是“选错第一步”，而是模型常常不会从错误造成的新状态继续规划。
把“别犯错”和“错后补救”拆成两种监督
标准 on-policy distillation 会根据学生模型自己生成的轨迹提供逐 token 监督，但它可能很难教会模型采取极少自行生成的补救行动。研究报告中，标准 OPD 把留出集失败率从 79% 降到 56%，但关键错误之后的失败率只从 51% 降到 49%；在关键回合，正确行动的概率始终低于 1%。如果八条左右的采样轨迹几乎碰不到正确行动，单靠模仿这些轨迹就很难学会恢复。仅依赖结果奖励的强化学习也有类似盲点：当一组采样全部失败时，组内相对优势可能为零，模型得不到有用的方向信号。
PivotOPD 在 PPO 更新中结合了三类信号。较大的教师模型回看学生轨迹及其结果，标出候选关键回合并给出目标行动；预防蒸馏让带有目标行动提示的冻结学生副本重新评估学生原本的回答，再用反向 KL 降低错误行动的倾向。恢复蒸馏则在错误之后最多训练 K 个回合：带提示的学生副本生成恢复回答，未提示的学生学习这些回答，借助正向 KL 把学生平时很少采样到的行动也纳入训练。教师负责指出行动，token 级目标来自学生自己的提示分布，这一点使方法不同于直接把教师整段回答当作标准答案。
恢复率的提升，比榜单名次更能说明方法在做什么
在 72 个回放的关键错误案例中，PivotOPD 恢复成功率为 72.7%，高于基础模型的 8.3%、标准 OPD 的 20.3%，也高于只做预防蒸馏的 45.8%。平均恢复耗时为 9.7 回合，而最优路径是 6.2 回合：模型不只是更常脱困，离最短补救路线仍有距离。这组结果比单看总分更直接地支持了论文的主张——恢复能力可以成为训练信号，而不必等模型从稀少的自然成功轨迹里自己摸索。
基准结果提供了另一层证据。论文比较了 13 个基线，在 ALFWorld、WebShop 和 Search-based QA 上，Qwen3-1.7B 与 Qwen3-8B 的三基准平均成绩都排第一，结果汇报基于三次随机种子运行。1.7B 模型在 ALFWorld 和 Search-based QA 上分别领先最强基线 5.5 和 5.9 个百分点；8B 模型在三个基准上的领先幅度至少为 1.8 个百分点。PivotOPD 也把 Qwen3-8B 用作自己的教师，仍在三项基准上领先至少 1.5 个百分点，说明教师并非必须比学生大，但这还不能证明任意同规模教师都能提供可靠监督。
能迁移到软件任务，但还不能把它称为通用自救
对技术负责人而言，PivotOPD 的工程吸引力在于：新增成本主要发生在训练阶段，研究材料称训练后的智能体没有额外推理成本，因此部署时仍可沿用基础模型的运行环境。作者还在 SWE-Bench Verified 上报告了迁移结果：Nemotron-3.5-SFT 学生的解决率从 62.8% 提高到 66.0%，标准 OPD 为 63.0%，教师模型为 73.0%。不过，这项软件工程实验只用了预防蒸馏，没有验证关键错误后的恢复蒸馏是否同样有效。把它解读为“已经证明能修复复杂编码任务中的错误”，超出了现有证据。
更根本的边界来自教师和环境。ALFWorld 上，教师识别的关键回合有 77.8% 落在 oracle 标注回合前后一个回合的范围内，这既说明定位有用，也意味着仍有一部分判断偏离；若教师给出错误目标或恢复行动，训练就可能把错误写进学生模型。恢复预算 K 还需要按基准在验证集上选择，而研究结果来自可回放、能够检查行动后果的任务。项目页列出的代码状态为即将发布，现有材料也没有独立复现结果。实际评估时，应把“何时识别出错误”“恢复是否成功”“修复多花多少步”分别记账，并先确认目标环境能否可靠回放和标注，再判断是否值得引入这套训练流程。