无限精度变换器的下界
📝
内容提要
本研究解决了一层softmax变换器在无限精度下的性能下界问题,填补了现有研究的空白。采用VC维度技术,针对函数组合和SUM$_2$任务证明了首次下界。该工作对优化变换器性能和理解其限制具有重要影响。
➡️
本研究解决了一层softmax变换器在无限精度下的性能下界问题,填补了现有研究的空白。采用VC维度技术,针对函数组合和SUM$_2$任务证明了首次下界。该工作对优化变换器性能和理解其限制具有重要影响。