使用 Fine-Tuned BERT 和 LSTM 模型从 10-K 报告中找到利益相关者相关信息
💡
原文中文,约200字,阅读约需1分钟。
📝
内容提要
该文介绍了一个利用预训练语言模型处理长文本文档的深度学习框架,通过自注意力机制提取文档级特征,该框架在美国银行的报告数据集上表现出色,是文本建模和回归模型的更好选择,有助于提高预测分析的质量。
🎯
关键要点
- 提出了一个利用预训练语言模型处理长文本文档的深度学习框架。
- 框架将长文档分成块,并利用自注意力机制提取文档级特征。
- 该框架在美国银行的10-K公开披露报告和其他公司报告数据集上表现出色。
- 是文本建模和回归模型的更好选择。
- 利用预训练的领域特定和微调的模型在表示文本数据方面效果较好。
- 有助于提高预测分析的质量。
➡️