基于语法的代码表示：对大型语言模型是否值得追求？

本研究解决了在大型语言模型中，基于语法的代码表示是否依然具有性能优势的问题。我们提出了一系列亿级规模的GrammarCoder模型，实验证明这些模型在代码生成准确性方面表现显著提升，减少了由于微小变动导致的语义错误。这表明，即使在大型模型中，基于语法的代码表示仍然十分重要，既保持了语法正确性，也提高了语义区分能力。