面向垂直领域的知识预训练语言模型
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
阿里云PAI与华东师范大学合作在EMNLP2023发表了关于垂直领域预训练语言模型的论文。他们提出了一种通过双曲空间和对比学习来增强上下文语言表示的框架，解决了垂直领域知识稀疏的问题。模型在金融和医疗领域的下游任务上表现良好。
🎯
关键要点
- 阿里云PAI与华东师范大学在EMNLP2023上发表了关于垂直领域预训练语言模型的论文。
- 提出了一种通过双曲空间和对比学习增强上下文语言表示的框架。
- 解决了垂直领域知识稀疏的问题，模型在金融和医疗领域的下游任务上表现良好。
- 知识增强预训练语言模型（KEPLM）通过注入知识事实提高NLP任务性能，但在垂直领域面临全局稀疏问题。
- 研究发现垂直领域知识图谱具有全局稀疏和局部稠密的特点。
- KANGAROO模型通过双曲空间学习和对比学习来增强语义表示。
- 模型包括Hyperbolic Knowledge-aware Aggregator和Multi-Level Knowledge-aware Augmenter两个模块。
- Hyperbolic Knowledge-aware Aggregator用于补充全局语义稀疏，Multi-Level Knowledge-aware Augmenter用于纠正全局稀疏性问题。
- 模型的损失函数包含token级别的MLM掩码任务和对比学习任务。
- KANGAROO模型在金融和医疗领域的全数据量和少样本数据量场景中进行了评测。
- KANGAROO算法的源代码将贡献于EasyNLP开源框架，供NLP从业人员和研究者使用。
➡️
