无限精度变换器的下界

📝

内容提要

本研究解决了一层softmax变换器在无限精度下的性能下界问题,填补了现有研究的空白。采用VC维度技术,针对函数组合和SUM$_2$任务证明了首次下界。该工作对优化变换器性能和理解其限制具有重要影响。

➡️

继续阅读