公开知识图谱记录
On-Policy Self-Distillation
记录摘要
教师看到提示，学生不看提示，通过forward KL传递软目标。
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 能力: 教师在特权上下文下为学生 token 提供指导
资料覆盖
知识图谱当前记录了 7 个已知资料维度，另有 12 个维度尚未记录，关联 2 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- JOLT — 基于
- Teacher Forcing — 采用
- 提示引导自蒸馏 — 集成