OpenAI的COBOL迁移得分实现了惊人的飞跃
内容提要
OpenAI称新模型GPT-6.1 Sol在COBOL迁移测试中准确率显著提升，低推理强度下达86.6%，高推理强度下达97.9%，且成本更低，但测试细节未公开，无法独立验证。另一基准MultiLangBench用20种语言构建SQLite兼容数据库，GPT-6 Astra平均通过率87.4%。OpenAI承认迁移到生产环境仍需专家审查。
延伸解读
COBOL迁移测试的透明度问题
OpenAI公布的COBOL迁移准确率提升显著，但未公开测试细节，开发者无法独立验证。相比之下，MultiLangBench的测试套件已在GitHub发布，可复现性更强。对于依赖基准结果做技术选型的团队，应优先关注可公开验证的评测，或要求供应商提供可审计的测试用例。
基准成绩与生产落地的距离
即便高推理强度下准确率达97.9%，OpenAI也承认迁移到生产环境仍需专家审查和业务规则测试。COBOL系统往往文档滞后、依赖复杂，隐藏测试通过不等于实际迁移成功。企业应将基准视为筛选工具，而非替代人工验证的依据。
多语言建库基准的参考价值
MultiLangBench用20种语言构建SQLite兼容数据库，GPT-6 Astra平均通过率87.4%，且19种语言超过83%，说明模型在跨语言代码生成上进步明显。但该基准聚焦单一任务类型，不能直接推广到其他软件工程场景。读者可将其作为语言覆盖广度的参考，而非综合能力排名。
竞争格局与选型提醒
OpenAI并非首家涉足COBOL现代化的公司，Anthropic和AWS已有相关方案。同时，Real-SWE 1.1等私有代码库基准显示不同模型排名各异。团队在评估迁移工具时，应结合自身代码库特点做小范围试点，避免仅凭厂商自报基准做决策。
Q&A
GPT-6.1 Sol在COBOL迁移测试中的准确率是多少？
在低推理强度下达到86.6%，高推理强度下达到97.9%。
OpenAI的COBOL迁移测试是如何评估的？
测试模型将现有COBOL程序迁移到C++、Java、Kotlin、Python和Rust，迁移结果需通过一系列隐藏测试，要求可观察输出字节级一致。
MultiLangBench基准测试的内容是什么？
测试模型能否用20种编程语言从零构建兼容SQLite的数据库引擎，通过给定数据库和SQL查询，生成修改后的数据库，并与参考SQLite实现对比验证。
GPT-6 Astra在MultiLangBench上的表现如何？
平均通过率达到87.4%，相比GPT-5.6 Sol的26.8%大幅提升，在20种语言中19种超过83%，且所有语言均有改进。
为什么COBOL对AI编码工具来说比较困难？
相比Python和JavaScript，模型可学习的COBOL代码和文档较少；有经验的COBOL开发者难找，文档往往滞后于系统。
OpenAI的COBOL迁移评估结果可以独立验证吗？
不能，OpenAI未公开COBOL评估的细节和测试用例，外部开发者无法独立检查结果。
将AI迁移的COBOL代码用于生产环境需要注意什么？
OpenAI承认，将迁移结果应用于生产软件仍需专家审查，并针对业务规则和依赖进行测试。
