【外评】研究发现，52% 的聊天软件编程问题答案是错误的
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
普渡大学的研究发现，52%的ChatGPT生成的编程答案错误且啰嗦，与人类答案不一致。尽管如此，许多人类程序员仍喜欢ChatGPT的答案。研究人员认为，ChatGPT的礼貌语言和全面性使其答案看起来更有说服力，导致人们忽略了错误信息。研究表明ChatGPT存在重大缺陷。
🔎
延伸解读
错误率背后的研究设计
研究基于Stack Overflow的517个问题，并分析了ChatGPT生成的2000个答案。结果显示52%的答案包含错误信息，77%比人类答案更啰嗦，78%与人类答案存在不一致。这些数据来自特定样本，可能无法代表所有编程场景，但揭示了ChatGPT在代码问答中的准确性缺陷。
礼貌语气如何影响判断
研究发现ChatGPT的回答更正式、更具分析性且负面情绪较少。对12名程序员的调查显示，35%喜欢ChatGPT的答案，39%不喜欢。访谈表明，礼貌语言、铿锵有力的教科书式回答和全面性让答案显得更有说服力，导致用户降低警惕，忽略其中的错误信息。
对程序员日常工作的启示
尽管ChatGPT答案错误率高，但许多程序员仍偏好其回答。这提醒开发者，不能仅凭答案的流畅度和礼貌性判断其正确性。在依赖AI辅助编程时，应保持批判性思维，交叉验证关键信息，避免因表面说服力而接受错误代码，增加调试负担。
❓
Q&A
ChatGPT生成的编程答案错误的比例是多少？
52%的ChatGPT生成的编程答案是错误的。
研究发现ChatGPT的答案与人类答案有什么不同？
77%的ChatGPT答案比人类答案更啰嗦，78%与人类答案存在不一致。
为什么程序员会偏好ChatGPT的答案？
因为ChatGPT的礼貌语言和全面性使其答案看起来更有说服力，导致人们忽略错误信息。
这项研究分析了多少个Stack Overflow问题？
研究分析了517个Stack Overflow问题。
ChatGPT的回答在情感表达上有什么特点？
ChatGPT的回答更正式、更具分析性，同时负面情绪较少。
研究对程序员的影响是什么？
研究表明，ChatGPT存在重大缺陷，给程序员带来挑战，尤其是需要纠正人工智能生成的代码错误时。
🏷️
