公开知识图谱记录
Hybrid Attention
记录摘要
交替使用压缩稀疏注意力(CSA)和重度压缩注意力(HCA)以降低KV缓存成本。
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 集成: Delta Attention
- 集成: Heavily Compressed Attention
- 性能: 匹配计算量下支持约4倍更长序列
- 性能: 在匹配计算量下支持比全注意力模型长4倍的序列
资料覆盖
知识图谱当前记录了 8 个已知资料维度，另有 11 个维度尚未记录，关联 6 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- Delta Attention — 集成
- Heavily Compressed Attention — 集成
- MiMo-V2.6-Distill-Qwen-9B — 隶属
- DeepSeek-V4 — 采用
- Inkling-Small — 采用