GPT-6 Astra带火循环Transformer：参数不增反降的AI架构新方向
内容提要
2026年，OpenAI的GPT-6 Astra采用“循环深度”技术，在Transformer中引入深度循环，不增加参数却加深计算，引发AI安全争议。该技术区别于2017年废弃的序列循环，旨在提升参数效率，但面临训练不稳定、推理成本高等挑战。文章探讨了循环架构的复兴及其对AI发展的意义。
延伸解读
循环深度与序列循环的本质区别
文章强调，2026年回归的循环并非2017年废弃的序列循环。序列循环沿时间轴逐字处理，限制并行；循环深度则在深度方向重复使用同一组参数，不增加参数量却加深计算。理解这一区别，有助于把握AI架构演进的关键：从追求并行到追求参数效率。
循环深度的实际收益与代价
循环深度通过参数共享减少参数量，如1.4B模型用少33%参数反超标准Transformer，并能泛化到更长推理。但代价是训练不稳定、推理成本未降、表达能力下降，且循环次数过多会导致性能下降。这表明循环并非免费午餐，需权衡参数节省与计算开销。
AI安全争议的焦点
GPT-6 Astra采用循环深度引发安全专家担忧，因为循环发生在隐藏状态中，中间过程难以追踪，模型推理可能不透明。这提示，在追求模型能力的同时，可解释性和安全性成为重要议题，未来需在性能与可控性间寻求平衡。
Q&A
GPT-6 Astra采用的“循环深度”技术是什么？
GPT-6 Astra采用了一种名为“循环深度”的技术，它让同一组Transformer层反复运行多次，在不增加参数量的情况下加深计算深度。例如，一个4层的模块运行3遍，等效深度为12层，但参数量仍为4层的量。
2017年Transformer抛弃的循环和2026年重新引入的循环有何不同？
2017年Transformer抛弃的是序列循环，即RNN/LSTM中按顺序处理每个词的机制，它无法并行计算。2026年重新引入的是深度循环，即在模型的深度方向上反复运行同一组层，不涉及序列顺序，保持了并行计算的优势。前者是时间上的循环，后者是空间上的循环。
循环深度技术有哪些潜在优势？
循环深度技术的主要优势是参数效率高，可以用较少的参数实现更深的计算，例如8层参数跑3遍相当于24层深度，节省了三分之二的参数。此外，它还能提升模型的推理能力，例如在《Loop, Think, & Generalize》实验中，循环深度模型实现了系统性泛化，并能泛化到更长的推理链。
循环深度技术面临哪些挑战？
循环深度技术面临多个挑战：训练不稳定，因为参数被多次使用导致梯度叠加，需要调整残差缩放规则；推理成本未降低，计算量依然很大，且每次循环需存储KV缓存；部分循环模型性能不如密集基线，如CART在参数对等时差1-2%；循环次数过多会导致性能下降，即“过度思考”。
为什么AI安全专家对GPT-6 Astra的循环深度技术表示担忧？
AI安全专家担忧循环深度技术使得模型的中间计算过程发生在隐藏状态中，可能无法以人类可读的思维链形式呈现，导致模型的推理过程难以追踪和理解。模型可能想对、想错或想出人类无法理解的路径，这增加了不可预测性和安全风险。
循环深度技术如何解决信息过载和计算冗余问题？
MeSH论文提出使用一组显式记忆槽和可学习的读写路由器，将单一的隐藏状态拆分开，以解决信息过载问题。实验表明，1.4B参数的递归模型用少33%的参数反超了同规模的标准Transformer。此外，Looped-MoE通过将密集前馈网络替换为稀疏专家网络，每次循环激活不同专家，使每次循环执行不同功能，从而减少计算冗余。
循环深度技术对AI架构发展有何意义？
循环深度技术代表了AI架构的新方向，它通过参数共享实现计算深度与参数深度的解耦，为在算力、参数和数据约束下寻找最优分配提供了新思路。它可能成为Scaling Law瓶颈后的新增长曲线，但也带来了可解释性和安全性的新问题。
