公开知识图谱记录
DSpark
记录摘要
维基:自回归LLM推理优化，草稿模型生成候选词元经大模型验证
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 能力: 草稿模型预测多个token
- 能力: 置信度头预测每个草稿 token 的接受率
- 能力: DeepInfer 支持推测解码
- 限制: 端到端收益受未加速部分限制
- 支持类型: 对文本和图像patch使用相同推理算法
- 性能: 已验证草稿 token 数约减少 30%
- 性能: 吞吐提升 4%–7%
资料覆盖
知识图谱当前记录了 10 个已知资料维度，另有 9 个维度尚未记录，关联 8 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- Amdahl定律 — 相关
- Function Calling — 用于
- Speculative Decoding — 属于
- Amdahl定律 — 相关
- 稀疏混合专家架构 — 相关