公开知识图谱记录
GPTQ
记录摘要
基于近似二阶信息的一次性训练后量化
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 集成: GPTQModel输出可运行于Transformers
- 性能: NVIDIA A100上相对FP16端到端加速约3.25倍
- 性能: NVIDIA A6000上相对FP16端到端加速约4.5倍
- 性能: 相对FP16在NVIDIA A100上加速约3.25倍
- 性能: 相对FP16在NVIDIA A6000上加速约4.5倍
资料覆盖
知识图谱当前记录了 8 个已知资料维度，另有 11 个维度尚未记录，关联 2 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- Safetensors — 采用
- 近似二阶信息 — 采用