BriefGPT - AI 论文速递
·
首字母隐藏者：多语言语料库中的首字母识别与排序的概率方法
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了斯拉夫南部语言空间中的网络语料库，包括斯洛文尼亚、克罗地亚、波斯尼亚、黑山、塞尔维亚、马其顿和保加利亚。这些语料库包含了来自2600万个文档的130亿个文本标记。通过统一的爬取设置和相同的处理技术，语料库得到了增强，体裁信息也得到了注释和分类。体裁分析显示，经济实力解释了不同语言社区体裁类别的变化。较不发达国家的语料库主要由新闻文章构成，而经济更发达国家的语料库则包含较多的推广和观点性文本。
🎯
关键要点
- 介绍了斯拉夫南部语言空间中的网络语料库，包括斯洛文尼亚、克罗地亚、波斯尼亚、黑山、塞尔维亚、马其顿和保加利亚。
- 这些语料库包含2600万个文档的130亿个文本标记。
- 语料库的可比性通过统一的爬取设置和相同的处理技术得到保证。
- 使用CLASSLA-Stanza语言处理管道进行语言注释，并通过X-GENRE分类器增强文档级别的体裁信息。
- 体裁分析显示，经济实力解释了不同语言社区体裁类别的变化。
- 较不发达国家的语料库主要由新闻文章构成，而经济更发达国家的语料库则包含更多推广和观点性文本。
➡️
