编程语言和自然语言的对齐:探索多模态变换器嵌入在缺陷定位中的设计选择
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
通过解释性工具和分析,发现预训练语言模型对潜在脆弱语句的关联性表现更好,但对脆弱路径的关联性较弱。开发了两种突出模型输入中错误语义的注释方法,实验结果显示注释方法能提高模型性能,并使模型与潜在脆弱语句的关联性提高高达232%。这表明提供模型有关错误语义的信息是有帮助的,并激发了后续针对学习更复杂基于路径的错误语义的研究。
🎯
关键要点
- 预训练语言模型对潜在脆弱语句的关联性表现更好。
- 预训练语言模型对脆弱路径的关联性较弱甚至没有。
- 开发了两种突出模型输入中错误语义的注释方法。
- 实验结果显示注释方法能提高模型性能。
- 注释方法使模型与潜在脆弱语句的关联性提高高达232%。
- 提供模型有关错误语义的信息是有帮助的。
- 激发了后续针对学习更复杂基于路径的错误语义的研究。
➡️