BriefGPT - AI 论文速递
·
塞尔维亚语言建模的新文本语料库
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了一套高度可比的斯拉夫南部语言空间中的网络语料库，包含了来自2600万个文档的130亿个文本标记。通过统一的爬取设置和相同的处理技术，语料库的可比性得到保证。体裁分析显示，各语言社区的经济实力解释了体裁类别的变化。
🎯
关键要点
- 本文介绍了一套斯拉夫南部语言空间的网络语料库，涵盖斯洛文尼亚、克罗地亚、波斯尼亚、黑山、塞尔维亚、马其顿和保加利亚。
- 该语料库包含2600万个文档和130亿个文本标记。
- 语料库的可比性通过统一的爬取设置和相同的处理技术得到保证。
- 所有语料库经过CLASSLA-Stanza语言处理管道的语言注释，并使用基于Transformer的多语言X-GENRE分类器增强体裁信息。
- 体裁分析显示，七个语料库的体裁分布相对一致，经济实力解释了主要体裁类别的变化。
- 来自较不发达国家的网络语料库主要由新闻文章构成，而经济更发达国家的网络语料库则包含更多推广和观点性文本。
➡️
