GPT-2 如何预测缩写词？通过机制解释提取和理解电路
内容提要
本文探讨了GPT-2在自然语言任务中的表现，分析其内部机制和可解释性。研究表明，GPT-2具有限制的数学能力，并提出了新的方法（GPT4MIA）用于医学图像分析，显著提高了预测准确度。此外，评估了多种模型在多语言任务中的性能。
延伸解读
机械可解释性的进展与局限
文章汇总了多项研究，表明通过因果干预等方法可以逆向工程GPT-2等模型的内部电路，例如在间接宾语识别任务中识别出26种注意力头。这证明了对大型模型的机械理解是可行的，但当前工作多基于GPT-2 small等较小模型，其结论能否推广至更大模型尚不明确。
GPT-2数学能力的边界
一项研究专门探讨了GPT-2的数学能力，发现其表现有限，但可通过电路进行解释，且该电路能推广至其他任务。这提示我们，模型在特定任务上的能力可能源于可复用的内部机制，而非通用推理，理解这些机制有助于预测模型在新任务上的表现。
跨领域应用与评估方法
文章还涉及GPT在医学图像分析（GPT4MIA）和多语言任务上的应用。GPT4MIA作为即插即用工具，可与ResNet等模型协同检测预测错误；多语言模型在60种语言上表现与XGLM相当。这些案例展示了GPT架构的通用性，但具体效果依赖任务设计和评估指标。
Q&A
GPT-2在自然语言任务中的表现如何？
GPT-2在间接宾语识别等自然语言任务中表现出有限的数学能力，且其内部机制可以通过电路进行解释。
什么是GPT4MIA方法，它的应用是什么？
GPT4MIA是一种用于医学图像分析的新方法，旨在提高预测准确度，并通过生成预训练变压器进行即插即用的推理。
Brain-Inspired Modular Training (BIMT)方法的优势是什么？
BIMT方法通过改善神经网络的可解释性，显著提高了自动电路发现的效率和质量，超越了现有模型的性能。
如何评估GPT-2的内部状态？
通过分析花园路径句子和使用最大可用数据集，研究发现否定标记对动词对象明确句子的影响较小。
GPT-2的注意力头和内存值有什么作用？
通过对注意力头和内存值的解释，可以将GPT的前向传递可视化为交互式流图，帮助理解模型输出的原因。
自回归GPT类模型在多语言任务中的表现如何？
自回归GPT类模型在多语言任务上表现出色，与Facebook的XGLM模型相媲美，涵盖分类、生成、序列标记等多种任务。
