我们研究了Transformer语言模型在学习离散算法方面的能力。发现最先进的Transformer语言模型在组合能力上有限，效果不如重新学习所有子任务。同时证明了记忆前馈模型上的梯度下降可能在数据效率上指数级低效。

变压器语言模型在算法学习上的限制
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证