BriefGPT - AI 论文速递
·
ExLM：重新思考$\texttt{[MASK]}$标记在遮蔽语言模型中的影响
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种新的增强上下文的遮蔽语言模型ExLM，解决了$ exttt{[MASK]}$标记导致的语义破坏问题，显著提升了文本建模和SMILES建模的性能。
🎯
关键要点
- 本研究提出了一种新的增强上下文的遮蔽语言模型ExLM。
- ExLM解决了$ exttt{[MASK]}$标记导致的语义破坏问题。
- 该模型显著提升了文本建模和SMILES建模的性能。
- ExLM通过扩展输入上下文中的$ exttt{[MASK]}$标记，增强了模型的上下文容量。
- 实验结果表明，ExLM有效减少了MLM中常见的多模态问题。
➡️
