公开知识图谱记录

SWE-bench

基准测试: Creation使用731个公开集实例
基准测试: Evolution固定反馈集包含100个任务
基准测试: Creation 阶段使用 731 个 public split 实例
基准测试: Evolution 反馈集使用 100 个任务
基准测试: 每个官方版本在 630 个留出实例上评分
基准测试: 人类工程参考得分为 80.0
基准测试: Beam 得分 80.9
基准测试: Nemotron 3 Ultra 得分 70.7

记录摘要

Standardized evaluation suite for software engineering agents based on real-worl

来自项目知识图谱的有来源实体；具体工具属性仍需补齐。

知识图谱当前记录了 6 个已知资料维度，另有 12 个维度尚未记录，关联 40 篇公开资料。这些数字只描述资料覆盖，不代表模型性能或适配性已经验证。