


先看证据
模型进步碰上的是维护难题
OpenAI 于 2026 年 10 月 19 日发布了低资源编程语言能力进展,介绍其新模型在 COBOL、Fortran、Visual Basic 等语言上的软件构建与迁移表现。发布材料把问题界定得很具体:这些语言可供模型学习的代码和文档少于 Python、JavaScript 一类语言,却仍支撑银行交易、天气预报和核反应堆安全分析等关键工作。OpenAI 提出的不是一门新语言或一套迁移产品,而是模型能力更新及两项用于衡量进展的评测。
这次变化值得技术负责人读,不在于“模型也会写 COBOL”这个表层结论,而在于遗留系统的难点往往不是语法本身。文档可能不完整,原开发者可能已经离开,业务规则则可能只留在代码的实际行为里。修复缺陷或迁移语言时,团队真正需要的是在改动实现方式的同时,不破坏系统依赖的既有行为,而这也正是材料试图检验的核心问题。
两项评测测的是两种不同能力
MultiLangBench 检验的是从头构建软件的能力:模型要用指定语言实现一个兼容 SQLite 的数据库引擎,在较长的编码过程中组织代码库、管理状态、处理错误,并在增加功能时保住已有功能。评测把 SQLite 现有测试改造成统一任务,再用数据库文件作为不同语言之间的共同接口。候选程序接收初始数据库和 SQL 查询,输出修改后的数据库,评测方再用参考版 SQLite 检查结果内容是否符合预期。
这套设计的价值,是让不同语言的实现可以面对同一类功能检查,而不只是比较代码长短或表面语法。它报告测试通过率,也报告 API 成本,因此关注的是模型能交付多少可运行功能,以及完成这些功能需要多少调用成本。另一项 COBOL 迁移评测则问不同的问题:把现有程序迁移到另一种语言后,原有行为还能否保留。两项评测合在一起,分别覆盖“新建”和“保真迁移”,但它们并不等于对真实企业系统的完整验收。
高分背后,语言差距仍然存在
在 MultiLangBench 的最高推理力度设置下,GPT‑6 Astra 的 20 种语言平均测试通过率为 87.4%,高于 GPT‑5.6 Sol 的 26.8%。材料称 Astra 在测试覆盖的每一种语言上都有提升,19 种语言超过 83%。但分布并不平坦:Visual Basic 从 27.5% 升至 89.4%,Fortran 从 21.4% 升至 83.5%,OCaml 从 25.6% 升至 85.8%,而 COBOL 虽从 10.9% 提高到 72.1%,仍是最难的一种。
GPT‑6 Luna 展示的是成本与能力之间的另一种取舍。它在最高推理力度下的平均通过率为 40.3%,仍低于 Astra,但材料称其估算 API 成本约低 78%,并且在每一种受测语言上都超过 GPT‑5.6 Sol。以 COBOL、Fortran、OCaml 和 Visual Basic 为例,Luna 分别达到 17.1%、31.4%、34.1% 和 41.6%。这让选择不再只是“新模型是否更强”,也变成了团队愿意为更高通过率支付多少推理成本的问题。
迁移分数高,不等于迁移风险消失
COBOL 迁移评测的数字跃升尤其醒目:GPT‑6.1 Sol 在低推理力度下达到 86.6% 准确率,GPT‑5.6 Sol 为 5.4%,同时材料称成本低 39%。提高推理力度后,准确率达到 97.9%,接近该评测的饱和水平。这些结果支持一个有限但重要的判断:在这项特定评测里,新模型更容易把迁移任务做对,而且不必靠更高成本换取低推理力度下的提升。
但“准确率”仍然是评测定义下的结果,不能直接改写成“生产迁移成功率”。材料没有给出测试集覆盖的程序规模、业务规则类型或错误严重度分布,也没有说明真实系统中人工审查、外围接口和部署环境如何计入。接近饱和的分数说明模型在既定题目上表现很好,不说明企业代码库里的边界行为、历史例外和隐含依赖已经全部被发现。技术负责人需要把这项证据当成筛选和试点依据,而不是风险注销单。
把模型放进行为验证闭环
对维护团队来说,这些结果最实际的意义,是可以把模型纳入更具体的工程任务,而不是把它当成通用的“遗留系统接管者”。MultiLangBench 的数据库文件接口说明,行为可以被转成可重复检查的输入与输出;企业也可以据此思考如何为自己的关键程序建立回归测试,再让模型参与修复或迁移。这个做法不是材料证明已经完成的部署方案,而是从评测机制出发得到的工作判断:先定义哪些行为必须不变,才有条件判断模型改动是否可接受。
下一步的决策应按任务而非语言标签来做。团队可以先挑选边界清楚、已有测试可复现的程序,比较不同模型在自有测试上的通过情况与调用成本,并对失败案例进行人工审查;随后再决定是否扩大试点。若关键规则尚未被测试覆盖,或者程序行为难以观测,基准上的高分就无法替代知识补齐和验证工作。模型能力正在改善,但在 COBOL 仍是 MultiLangBench 最难语言、而评测范围又有限的条件下,可靠的判断依旧是让模型加速验证,而不是让它跳过验证。