Codehacks: A Dataset of Adversarial Tests for Competitive Programming Problems from Codeforces
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
该研究提出了一种新方法,通过从Codeforces收集编程问题及其“黑客”案例,生成错误诱导测试案例。研究提供了一个包含288,617个测试的综合数据集,旨在提升大语言模型生成软件的测试效果。
🎯
关键要点
- 该研究提出了一种新方法,通过从Codeforces收集编程问题及其对应的'黑客'案例,生成错误诱导测试案例。
- 研究提供了一个包含288,617个错误诱导测试的综合数据集。
- 该数据集旨在提升使用大语言模型生成软件的测试效果。
- 软件在日常生活中的关键应用中使用,确保其正确性非常重要。
- 测试失败表明软件存在缺陷,而所有测试通过则可以假设软件是正确的。
➡️