Seq-VCR: Preventing Intermediate Transformer Representation Collapse to Enhance Reasoning Ability
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究针对解码器 Transformers 在复杂推理任务中的表现问题，提出了顺序方差-协方差正则化（Seq-VCR），显著提升了算术推理性能，$5 imes 5$ 整数相乘任务的准确率达到了 $99.5\\%$。
🏷️
