大型 GPT 模型的问题:深入研究语言能力与心理语言学度量之间的关系
原文中文,约300字,阅读约需1分钟。发表于: 。通过训练不同大小的 GPT-like 语言模型并在挑战任务(BLiMP,GLUE,MSGS)和阅读时预测任务上进行评估,我们发现 LM 大小与所有三个挑战任务的性能呈正相关,而在使用 LM 意外性作为预测变量的线性混合效应模型的阅读时间拟合上,发现 LM 大小呈负相关。这表明,模拟处理的努力和语言能力可能需要与在发展上合理的语料库上训练 GPT-like 语言模型有所不同的方法。
该研究发现,LM大小与挑战任务性能呈正相关,但在阅读时预测任务上,LM大小呈负相关。这表明处理努力和语言能力需要与训练GPT-like语言模型的方法不同。