TokenFormer: Rethinking Transformer Scalability with Tokenized Model Parameters
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了TokenFormer架构，通过将模型参数视为标记，解决了Transformer模型扩展的高成本问题。在参数范围1.24亿到14亿时，该模型的性能与完全从头训练的Transformer相当，同时显著降低了训练成本。
🏷️
