BriefGPT - AI 论文速递
·
基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域。该方法通过对词语进行排名，优先选择重要性高的词进行掩码处理。实验证明该方法在法律领域的有效性，并提供免费使用的预训练语言模型和代码。
🎯
关键要点
- 介绍了一种创新的掩码方法，利用流派和主题信息定制语言模型。
- 该方法基于词语的重要性进行排名，优先选择重要性高的词进行掩码处理。
- 通过在法律领域进行连续预训练，验证了该方法在LegalGLUE基准测试中的有效性。
- 提供免费使用的预训练语言模型和代码。
➡️
