先看证据
把机制串起来
结果奖励通常只在整条回答结束后告诉模型成败，长任务里成功样本少，就很难知道哪一步做对了。在线策略蒸馏则在学生自己的生成轨迹上逐词元提供反馈；“特权信息”是学生看不到、教师可用的答案、参考解或执行反馈。
同一组共享参数在两种上下文下扮演角色：教师看到特权信息，学生只看到任务；两者都沿各自上下文生成的轨迹进行在线学习。教师用自身轨迹的结果奖励学习，同时受逐词元KL约束，避免因特权信息而离学生策略太远；这是一种让教学方向更可能与学生奖励梯度一致的实用替代方案，不是对每次更新同向的保证。学生在自己的生成轨迹上接受教师逐词元打分，因此监督能落到学生实际会遇到的前缀，而非只模仿教师的完整答案。JOLT+再把学生自身的结果奖励加入学生更新，为密集蒸馏信号补上直接的成败锚点。代价是要同时计
['适合有可验证结果或参考解的数学、代码与工具任务', '先确认特权信息真实可靠，错误参考会污染教师信号', '评估JOLT时单独做JOLT+消融，检验学生奖励贡献', '比较算力时区分处理token与补全token，别直接等同墙钟']
从稀疏奖励到可教的轨迹
Perplexity 与 NVIDIA 团队提出的 JOLT，全称 Joint On-policy Learning and Teaching，是一种语言模型后训练方法，针对的是强化学习在困难任务上的反馈稀疏问题。它让同一个模型在两种上下文中扮演教师和学生：教师能看到答案、参考解或反馈等特权信息，学生则只看到任务本身。论文《A Good Self-Teacher Meets the Student Where They Are》于 2026 年 10 月 7 日发布，Perplexity 于 10 月 21 日介绍了这项工作。
这项工作的变化不在于首次让模型自我蒸馏，而在于它把“教师能否教到学生”当成训练问题的一部分。结果奖励强化学习通常在一整条回答结束后才给一个信号，长任务中成功轨迹少，模型很难知道究竟哪些词元推动了成功。在线策略蒸馏可以沿学生自己的生成过程提供更密集的反馈，但如果教师依靠学生拿不到的信息走了捷径，逐词元指导也可能变成学生无法执行的建议。
共享参数，不共享视野
JOLT让教师和学生共享模型参数，却不让它们看到相同的输入。教师在特权上下文中生成自己的轨迹，并通过结果奖励学习，同时受到与学生策略之间的逐词元 KL 约束。这个约束的目标不是让教师停止利用额外信息，而是避免教师的行为和学生当前策略相距太远，使它提供的信号仍有机会被学生吸收。
学生一侧的更新更贴近在线蒸馏的直觉：学生先在没有特权信息的条件下生成回答，教师再针对这条学生自己的轨迹提供逐词元信号。于是学生学的不是一份由教师独立写出的标准答案，而是如何改进自己实际走过的路径。两种角色各自在对应上下文下生成轨迹并学习，这就是“on-policy”的关键所在，也解释了为什么同一模型并不意味着两边的训练信号相同。
6.5 倍效率，来自一条拟合曲线
最醒目的数字来自 MATH 上的 Qwen3-0.6B 实验。研究团队以 GRPO 一个准确率为 63.44% 的实测检查点作为比较点，再用训练 token 预算与准确率的拟合曲线估算达到同一准确率所需的预算：GRPO 使用 840 万个处理训练 token，JOLT 估算为 130 万个，约相差 6.5 倍。这个比较回答的是“达到同一准确率需要多少训练 token”，不是在同一预算下直接测得的硬件耗时差异。
换一个 token 口径，差距会更大，但口径也随之改变。只计算补全 token 时，GRPO 报告为 804 万，JOLT 的估算为 61.7 万，约相差 13 倍；JOLT 这一侧计入教师与学生的补全，GRPO 一侧计入学生补全。研究报告称，在 55% 到 65% 的准确率目标区间，处理训练 token 的节省幅度约为 4.3 到 7.4 倍。曲线给出的是点估计，材料未提供置信区间，因此不应把单个比较点当成精确的成本承诺。
JOLT 与 JOLT+ 的差别不是细节
实验覆盖了五种任务与不同特权信息：GSM8K 的教师获得验证答案，MATH 获得参考解，LiveCodeBench v6 使用通过的同类解答或执行反馈，AppWorld 使用过去尝试的摘要，Terminal-Bench 2.1 则使用私有验证器文件。研究报告称，JOLT+ 在这五种设置中的平均成绩均高于 GRPO、OPSD 与 π-Distill。相对 GRPO，JOLT+ 在 GSM8K、MATH、LiveCodeBench v6 和 AppWorld 分别提高 1.5、4.2、3.0 和 9.9 个百分点。
但不能把 JOLT+ 的成绩直接归给不使用学生结果奖励的 JOLT。JOLT+ 在学生更新中额外加入学生自身轨迹的结果奖励，这一差异在 AppWorld 尤其清楚：JOLT+ 的状态测试通过率为 72.09%，GRPO 为 62.20%，而不加学生奖励的 JOLT 为 51.92%，低于 GRPO。另一方面，在 MATH 上，普通 JOLT 仍达到 72.14%，高于 GRPO 的 68.36%。这些结果表明，逐词元蒸馏可以在某些设置中独立带来收益，但加入学生的直接结果信号可能决定方法在另一些任务上能否奏效。
对训练团队的启示与边界
对训练团队而言，JOLT 提出的工程问题不是“要不要教师模型”，而是教师信号是否与学生自己的行为相容。共享一个模型充当两种角色，减少了单独部署教师模型的需要，但并不意味着教师侧训练和推理没有成本。教师仍要利用特权上下文生成轨迹，学生也要生成轨迹并接受逐词元指导。材料没有披露训练硬件，因此 token 数的优势还不能直接换算成 GPU 小时、能耗或实际训练费用。
论文的核心假设也有边界。教师轨迹上的结果回报只是学生后续优势的实用替代信号，并不与学生的奖励梯度完全等价；KL 约束是让教师贴近学生的一种机制，也不能保证所有任务中指导都恰好可学。更稳妥的判断是把 JOLT 看作一种有希望的后训练设计，而不是已经证明普遍降低端到端成本的方案。若团队评估它，应分别比较 JOLT 与 JOLT+，记录处理 token 和补全 token，并在相同任务质量目标下核算实际训练资源。只有这些口径同时成立，6.5 倍才会从论文中的效率估算变成可用于部署决策的证据。