DEV Community
·
探索大型语言模型：代码补全的盲测研究
💡
原文英文，约2100词，阅读约需8分钟。
📝
内容提要
经过四个月的盲测，比较了三款AI代码补全工具的表现。结果显示，GitHub Copilot的接受率最高（3.4%），Supermaven提供了最多建议，而Codeium仅有0.5%的接受率，最终被停用。研究揭示了不同大型语言模型在实际编码中的显著差异。
🎯
关键要点
- 经过四个月的盲测，比较了三款AI代码补全工具的表现。
- GitHub Copilot的接受率最高，达到3.4%。
- Supermaven提供了最多的建议，但接受率较低，仅为1.9%。
- Codeium的表现最差，接受率仅为0.5%，最终被停用。
- 研究揭示了不同大型语言模型在实际编码中的显著差异。
- Copilot提供较少但质量更高的建议，而Supermaven则提供更多但精度较低的建议。
- 数据收集系统使用SQLite记录每个补全建议和用户接受决策。
- 研究结果显示，Codeium在七天后因表现不佳而被停止使用。
- 未来的研究可以扩展到更多的代码补全工具，特别是开源模型。
- 该实验强调了数据驱动决策在选择开发工具中的重要性。
❓
延伸问答
在这项研究中，哪款AI代码补全工具的接受率最高？
GitHub Copilot的接受率最高，达到3.4%。
Supermaven和Codeium的表现如何？
Supermaven提供了最多的建议，但接受率仅为1.9%；Codeium的表现最差，接受率仅为0.5%，最终被停用。
这项研究的主要发现是什么？
研究揭示了不同大型语言模型在实际编码中的显著差异，特别是在接受率和建议质量方面。
为什么Codeium在七天后被停用？
Codeium的接受率仅为0.5%，表现不佳，因此在七天后被停用。
Copilot和Supermaven在建议数量和质量上有什么区别？
Copilot提供较少但质量更高的建议，而Supermaven提供更多但精度较低的建议。
未来的研究方向是什么？
未来的研究可以扩展到更多的代码补全工具，特别是开源模型，并进行多用户研究以获得更全面的结果。
➡️
