超音速:在 C/C++ 中学习生成源代码优化
原文中文,约300字,阅读约需1分钟。发表于: 。通过使用序列到序列模型,本文介绍了一种名为 Supersonic 的神经方法,该方法针对源代码进行微小的修改以实现优化,实验证明 Supersonic 在代码优化任务中表现优于 OpenAI 的 GPT-3.5-Turbo 和 GPT-4,并且与 GPT-3.5-Turbo 相比改动幅度减少了超过 600 倍,与 GPT-4 相比改动幅度减少了超过 3700 倍。
本文介绍了Synchromesh框架,用于增强预训练语言模型在代码生成中的可靠性。该框架使用Target Similarity Tuning选择语义上相似的训练样例,并采用Constrained Semantic Decoding方法约束输出代码的合法性,提高了模型的实用性和运行效率。作者在SQL查询、Vega-Lite可视化和SMCalFlow编程语言中进行了实验,展示了CSD在约束语义、范围、类型规则和上下文逻辑等方面的有效性。