Codehacks: A Dataset of Adversarial Tests for Competitive Programming Problems from Codeforces
原文英文,约100词,阅读约需1分钟。
📝
内容提要
该研究提出了一种新方法,通过从Codeforces收集编程问题及其“黑客”案例,生成错误诱导测试案例。研究提供了一个包含288,617个测试的综合数据集,旨在提升大语言模型生成软件的测试效果。
🎯
关键要点
-
该研究提出了一种新方法,通过从Codeforces收集编程问题及其对应的'黑客'案例,生成错误诱导测试案例。
-
研究提供了一个包含288,617个错误诱导测试的综合数据集。
-
该数据集旨在提升使用大语言模型生成软件的测试效果。
-
软件在日常生活中的关键应用中使用,确保其正确性非常重要。
-
测试失败表明软件存在缺陷,而所有测试通过则可以假设软件是正确的。
🏷️