未来视角:从单个隐藏状态预测后续标记

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究以花园路径句子为案例,提出了分析GPT-2内部状态的方法。研究发现,否定标记对动词对象明确的句子的表示影响较小,而对语态造成歧义的明确句子的表示影响更大。同时,分析解码器模型的隐藏状态可以揭示可能会产生花园路径效应的歧义期。

🏷️

标签

➡️

继续阅读