TopoLM: Spatial Functional Organization in a Brain-like Topological Language Model
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究通过TopoLM模型,结合下一词预测和空间平滑损失,将文本表示聚集成语义群体,成功预测大脑语言系统的空间功能组织,揭示语言系统的功能组织由统一空间目标驱动。
🎯
关键要点
-
本研究解决了人类语言系统中功能组织机制不明确的问题。
-
构建了具有二维空间表示的变换器语言模型TopoLM。
-
结合下一词预测目标与空间平滑损失,模型有效聚集文本表示成语义可解释的群体。
-
成功预测了大脑皮层语言系统的空间功能组织。
-
研究表明人类语言系统的功能组织受到统一空间目标驱动。
-
为大脑语言处理提供了功能和空间对齐的模型。
➡️