BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

📝

内容提要

本文介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域。该方法通过对词语进行排名，优先选择重要性高的词进行掩码处理。实验证明该方法在法律领域的有效性，并提供免费使用的预训练语言模型和代码。

🏷️

标签

专业领域 掩码方法 法律领域 语言模型 预训练语言模型