公开知识图谱记录
V-Smooth
记录摘要
按批次和头聚类值令牌，仅量化去均值残差
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 性能: 分组开销为注意力时间的3%至4%
- 性能: 平均移除 8% 的块能量
- 性能: 平均移除 12% 的块能量
- 性能: 平均移除 36% 的块能量
- 性能: 分组开销为注意力时间的 3% 至 4%
- 运行要求: 128-token硬件块
- 运行要求: 使用 128-token 硬件块
资料覆盖
知识图谱当前记录了 7 个已知资料维度，另有 11 个维度尚未记录，关联 1 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- VC-Attention — 集成