BriefGPT - AI 论文速递
·
自动音韵重构和同源语反射预测的认知变换器
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
该研究使用诱导句子扰动的检测方法，分析了四个多语言transformers的形态句法内容，并研究了精调POS标记对模型知识的影响。研究结果表明，精调可以改善和降低探测性能，并改变形态句法知识在模型中的分布。
🎯
关键要点
- 本研究提出了 Morph Call，针对四种印欧语言的 46 个探测任务。
- 使用诱导句子扰动的检测方法分析多语言 transformers 的形态句法内容。
- 研究包括不太被探究的蒸馏版本。
- 研究了精调 POS 标记对模型知识的影响。
- 研究结果表明，精调可以改善和降低探测性能。
- 精调改变了形态句法知识在模型中的分布。
- 代码和数据公开，旨在填补 transformers 的研究空白。
🏷️
标签
➡️
