How Much Context Can Contextualized Representations Encode?

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究分析神经自回归语言模型中的上下文化表征,重点关注长距离上下文的编码能力。通过新的度量方法,揭示不同模型在下游任务中的表现差异,并探讨如何通过模型大小和训练配置改善这一能力。

🏷️

标签

➡️

继续阅读