变压器语言模型在算法学习上的限制

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

我们研究了Transformer语言模型在学习离散算法方面的能力。发现最先进的Transformer语言模型在组合能力上有限,效果不如重新学习所有子任务。同时证明了记忆前馈模型上的梯度下降可能在数据效率上指数级低效。

🏷️

标签

➡️

继续阅读