公开知识图谱记录
KV cache
记录摘要
长上下文代理运行时与模型权重竞争GPU显存
来自项目知识图谱的有来源实体;具体工具属性仍需补齐。
已记录信息
- 能力: 降低部分提示词处理成本
- 能力: 加速重复预测
- 能力: 供理解流和生成流共享
- 能力: 基础模型生成的 KV cache 可供后续适配器决策复用
- 能力: 保存已处理上下文的注意力记忆,并随上下文增长
- 性能: 缓存单行预测速度匹配TabPFN-3
- 运行要求: 可使用主机DRAM作为第二级缓存
资料覆盖
知识图谱当前记录了 9 个已知资料维度,另有 10 个维度尚未记录,关联 40 篇公开资料。这些数字只描述资料覆盖,不代表模型性能或适配性已经验证。
相关公开记录
- Decode — 采用
- Etched — 采用
- Sama — 采用
- Jalapeño — 采用
- Activated LoRAs — 采用