公开知识图谱记录
Efficient Knowledge Distillation for LLMs
记录摘要
通过离线缓存和融合损失函数，使长上下文蒸馏在单GPU上即可实现。
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 能力: Fused Chunked KL Loss
- 能力: Offline Top-K Logits
资料覆盖
知识图谱当前记录了 7 个已知资料维度，另有 12 个维度尚未记录，关联 1 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- Nvidia Megatron-Bridge — 替代
- PyTorch — 替代
- Fused Chunked KL Loss — 具备特性
- Offline Top-K Logits — 具备特性
- Nvidia Megatron-Bridge — 替代