团队通过复现经典聊天机器人ELIZA来揭开Transformer模型的神秘面纱。他们使用注意力机制和模式匹配规则实现了ELIZA算法，并发现了Transformer模型在处理对话任务时的行为和学习机制。研究还发现，Transformer模型倾向于根据对话内容的相似性来选择回答，而非严格按照词出现的位置来复制。该研究为自动可解释性提供了新思路，并为大语言模型研究提供了一个受控的理想化环境。