DEV Community
·
探索大型语言模型：代码补全的盲测研究
内容提要
经过四个月的盲测，比较了三款AI代码补全工具的表现。结果显示，GitHub Copilot的接受率最高（3.4%），Supermaven提供了最多建议，而Codeium仅有0.5%的接受率，最终被停用。研究揭示了不同大型语言模型在实际编码中的显著差异。
关键要点
-
经过四个月的盲测，比较了三款AI代码补全工具的表现。
-
GitHub Copilot的接受率最高，达到3.4%。
-
Supermaven提供了最多的建议，但接受率较低，仅为1.9%。
-
Codeium的表现最差，接受率仅为0.5%，最终被停用。
-
研究揭示了不同大型语言模型在实际编码中的显著差异。
-
Copilot提供较少但质量更高的建议，而Supermaven则提供更多但精度较低的建议。
-
数据收集系统使用SQLite记录每个补全建议和用户接受决策。
-
研究结果显示，Codeium在七天后因表现不佳而被停止使用。
-
未来的研究可以扩展到更多的代码补全工具，特别是开源模型。
-
该实验强调了数据驱动决策在选择开发工具中的重要性。
延伸解读
不同工具的接受率差异
在这项研究中，GitHub Copilot的接受率为3.4%，明显高于Supermaven的1.9%和Codeium的0.5%。这表明，虽然Supermaven提供了更多的建议，但其质量和准确性不足，导致用户接受率低。开发者在选择代码补全工具时，应关注接受率这一关键指标，以确保获得更高效的编码体验。
数据驱动的决策重要性
研究采用了数据收集系统，记录每个补全建议和用户的接受决策。这种方法消除了主观偏见，使得结果更具说服力。开发者在选择工具时，应该考虑使用类似的数据驱动方法，以便更客观地评估不同工具的实际表现。
未来研究的方向
本研究的局限性在于只考虑了三款工具，且仅反映了单一用户的编码习惯。未来可以扩展到更多的代码补全工具，尤其是开源模型，以获得更全面的比较结果。此外，进行多用户研究将有助于了解不同开发者在使用这些工具时的体验差异。
延伸问答
在这项研究中，哪款AI代码补全工具的接受率最高？
GitHub Copilot的接受率最高，达到3.4%。
Supermaven和Codeium的表现如何？
Supermaven提供了最多的建议，但接受率仅为1.9%；Codeium的表现最差，接受率仅为0.5%，最终被停用。
这项研究的主要发现是什么？
研究揭示了不同大型语言模型在实际编码中的显著差异，特别是在接受率和建议质量方面。
为什么Codeium在七天后被停用？
Codeium的接受率仅为0.5%，表现不佳，因此在七天后被停用。
Copilot和Supermaven在建议数量和质量上有什么区别？
Copilot提供较少但质量更高的建议，而Supermaven提供更多但精度较低的建议。
未来的研究方向是什么？
未来的研究可以扩展到更多的代码补全工具，特别是开源模型，并进行多用户研究以获得更全面的结果。
