MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍
内容提要
MIT实验显示，GPT-6 Astra可直接读取并编辑小模型权重，无需训练或梯度下降。仅改动Qwen3.5-0.8B约0.016%的权重，MATH-500得分即从7.9%升至48.1%，指令执行能力提升约3倍。Astra还能识别网络用途、定位内部部件、修补行为，甚至从零构建可用网络，在MinAtar游戏中得分超PPO基线20倍。团队称此为“权重空间编程”，但分析与评测仍需算力。
延伸解读
权重空间编程：不训练也能改模型
MIT实验展示了一种新范式：让大模型直接读取并编辑小模型的权重，无需梯度下降或训练数据。Astra仅修改Qwen3.5-0.8B约0.016%的权重，就将MATH-500得分从7.9%提升至48.1%。这提示开发者，未来优化小模型时，或许可以先尝试直接编辑权重，而非从头训练。
诊断与修改：从识别到修补的闭环
Astra不仅能识别网络用途（如从权重推断游戏名称），还能定位问题部件并修补行为。在Qwen实验中，它发现推理循环导致输出过长，并精准修改了第15和19层的部分权重。这种“诊断-定位-修改”的闭环，为模型调试提供了新思路，但分析过程仍需算力支持。
从零构建网络：权重生成的潜力与局限
在MinAtar游戏中，Astra从零生成网络权重，平均得分517.4，远超PPO训练5亿步的25.3。这展示了权重空间编程的潜力，但实验也暴露局限：Astra曾将实心图形误读为轮廓。此外，该方法依赖大模型自身知识，且评测需额外算力，并非万能。
Q&A
GPT-6 Astra直接修改Qwen权重后，数学能力提升了多少？
仅改动Qwen3.5-0.8B约0.016%的权重，MATH-500得分从7.9%升至48.1%，数学能力提升约6倍。
Astra修改权重需要训练或梯度下降吗？
不需要。Astra直接读取并编辑权重，全程没有训练，也没有梯度下降。
Astra如何发现Qwen模型数学表现差的原因？
Astra分析权重后发现，数学表现差主要因为推理循环导致生成重复文本，在96条练习回答中有85条达到32768 token上限。它追踪到前馈网络第15层和第19层的各64个输出列，并修改相应权重。
Astra能从零构建一个可用的神经网络吗？效果如何？
可以。在MinAtar游戏中，Astra根据游戏规则和网络结构，一次回复生成权重全为零的网络，平均得分517.4，超过训练5亿步的PPO基线（25.3分）20倍。
权重空间编程（Weight-Space Programming）是什么？
权重空间编程是指让大模型直接分析神经网络权重，判断其用途和问题，再按要求修改权重，甚至从零构建网络，无需传统训练。
Astra在识别网络用途方面表现如何？
Astra能正确识别四个游戏网络（打砖块、乒乓、吃豆人、高速公路），从扩散模型权重中辨认形状（但将实心图形误读为轮廓），还能在无输入输出层的情况下识别小语言模型所学语言并找出归纳头。
Astra修改权重的方法有什么局限性？
Astra的知识来自先前训练；分析权重、生成代码、批量推理和评测都需要计算资源，因此仍需算力支持。
