公开知识图谱记录
HarnessDev
记录摘要
评估模型编写并演化可运行 harness 的能力
来自项目知识图谱的有来源实体；具体工具属性仍需补齐。
已记录信息
- 基准测试: 覆盖5个基准、2207个实例
- 基准测试: 覆盖 SWE-bench Pro、Terminal-Bench 2.1、MLE-bench、EQ-Bench3 和 BrowseComp
- 基准测试: 使用固定的 100 个 SWE-bench Pro 任务和全部 89 个 Terminal-Bench 2.1 任务提供演化反馈
- 基准测试: 最终版本在 630 个未见过的 SWE-Pro 实例上评分
- 集成: Claude Code 2.1.177
资料覆盖
知识图谱当前记录了 6 个已知资料维度，另有 11 个维度尚未记录，关联 1 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。
相关公开记录
- BrowseComp — 评测于
- EQ-Bench3 — 评测于
- MLE-bench — 评测于
- SWE-bench — 评测于
- Terminal-Bench 2.1 — 评测于