添加噪音后，旋转不变算法在观察到d个或更多实例之后仍然次优。通过对旋转对称问题的贝叶斯最优算法的下界证明，以及对简单的非旋转不变算法在同一问题中的更低上界证明，证明了这一点。分析了一些简单情况下许多标准优化算法的梯度流轨迹，展示了它们朝向或远离稀疏目标的方向发展。轨迹分类方法在设计能够利用稀疏目标的算法中将是有用的，证明下界的方法对于分析其他拥有不同不变性类别的算法族将是至关重要的。

本文研究了预训练的注意力模型在具有高斯先验的线性回归的上下文学习中的能力。研究表明，有效的预训练只需要少量独立任务，预训练模型与贝叶斯最优算法高度匹配，在未见任务上实现几乎贝叶斯最优风险。这些理论发现补充了先前的实验研究，并阐明了ICL的统计基础。