一个小型自回归程序合成系统，支持受控实验
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
Cadmus系统研究小型模型在真实程序完成中的潜力，包含整数虚拟机和多样化任务的数据集。该系统以低成本进行训练，适用于程序完成和推理等研究。Cadmus模型在简单整数算术任务上超越GPT-5，显示出小模型在复杂推理中的优势，避免了大模型的未知偏差。
🎯
关键要点
- Cadmus系统研究小型模型在真实程序完成中的潜力。
- 研究通常依赖大型语言模型（LLMs），但存在许多问题，如分布外数据的理解和计算存储需求高。
- Cadmus系统包括整数虚拟机、真实程序的数据集和训练成本低于200美元的自回归变换模型。
- 该系统适用于程序完成、分布外表示、归纳推理和指令跟随等研究。
- 小型模型在复杂推理任务中表现出优势，能够进行更深入的研究。
- Cadmus模型在简单整数算术任务上超越GPT-5，准确率达到100%，而GPT-5为95%。
- GPT-5在解决相同任务时引入未知的先验因素，限制了其在某些研究中的应用。
➡️
