公开知识图谱记录
GGUF
记录摘要
Quantized format (e.g., Q4_K_M) for efficient local execution of LLMs on CPU/VRA
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 基准测试: 提供Llama-2-7B级模型的量化质量与大小参考表
- 能力: 支持 PTQ1_0 三值打包
- 能力: 支持 PQ2_0 三值打包
- 能力: 支持内存映射兼容
- 能力: 支持单文件部署设计
- 部署方式: 适合端侧部署
- 部署方式: 服务于端侧部署
- 集成: 可与llama.cpp集成
资料覆盖
知识图谱当前记录了 10 个已知资料维度，另有 9 个维度尚未记录，关联 10 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。