本研究分析神经自回归语言模型中的上下文化表征,重点关注长距离上下文的编码能力。通过新的度量方法,揭示不同模型在下游任务中的表现差异,并探讨如何通过模型大小和训练配置改善这一能力。
完成下面两步后,将自动完成登录并继续当前操作。