DocuMint: 使用小型语言模型为 Python 生成文档字符串
内容提要
本文比较了大型语言模型（LLMs）在代码文档生成中的表现，评估了多个模型的准确度、完整性和生成时间。研究发现，闭源模型如GPT-3.5和GPT-4在各方面优于开源模型，且GPT-4的生成时间最长。模型性能受代码与自然语言描述的标记重叠影响，在低资源编程语言中，LLMs对代码的理解和文档化能力有限。
延伸解读
闭源与开源模型的表现差距
文章指出，在代码文档生成任务中，闭源模型如GPT-3.5、GPT-4和Bard在准确度、完整性、相关性、可理解性和可读性等参数上均优于开源模型Llama2和Starchat。这一差距可能影响开发者在实际项目中的模型选型，若追求高质量文档，闭源模型仍是更可靠的选择，但需考虑成本与数据隐私。
生成时间与文档级别的权衡
GPT-4的生成时间最长，其次是Llama2和Bard，ChatGPT与Starchat相当。此外，文件级别文档在所有参数（时间除外）上表现明显较差，相比内联和函数级别文档。这意味着在需要快速生成文档时，可优先考虑函数级别文档，并选择生成速度较快的模型，但需在质量与效率之间做出权衡。
标记重叠对性能的影响
模型性能受代码与自然语言描述之间的子词标记重叠量影响，这种重叠主要出现在函数名称中。通过移除函数名称与移除代码结构的对比实验，可以评估模型对代码结构的理解程度。这提示开发者在编写代码时，清晰的函数命名可能有助于提升自动文档生成的质量。
低资源编程语言的局限性
在低资源编程语言中，LLMs对代码的理解和文档化能力有限，存在无法改进某些代码部分和编写准确单元测试等限制。尽管LLM在生成描述性文档字符串方面有用，但开发者不应完全依赖其进行关键任务，需结合人工审查以确保文档的准确性和完整性。
Q&A
大型语言模型在代码文档生成中的表现如何？
大型语言模型在代码文档生成中表现出色，闭源模型如GPT-3.5和GPT-4在准确度、完整性等方面优于开源模型。
为什么闭源模型在文档生成中表现更好？
闭源模型如GPT-3.5和GPT-4在多个参数上优于开源模型，可能是由于其训练数据和算法的优化。
GPT-4的生成时间与其他模型相比如何？
GPT-4的生成时间最长，其次是Llama2和Bard，ChatGPT和Starchat的生成时间相当。
模型性能受哪些因素影响？
模型性能受代码与自然语言描述的标记重叠影响，尤其是在函数名称中。
在低资源编程语言中，LLMs的表现如何？
在低资源编程语言中，LLMs对代码的理解和文档化能力有限，存在一些限制。
如何评估大型语言模型的文档生成能力？
可以通过准确度、完整性、生成时间等多个参数来评估大型语言模型的文档生成能力。
