本研究探讨了学习矢量值线性预测器,重点分析了具有凸和Lipschitz损失函数的情况。我们详细描述了样本复杂度,并展示了随机凸优化与矢量值线性预测之间的关系,具有重要的理论和实践意义。
本文提出了一种稀疏最大函数,类似于传统的softmax,但输出稀疏概率。研究表明,在多标签分类和自然语言推断中,稀疏最大函数能够提供更精细的注意力焦点,且性能与传统softmax相似。此外,提出了新的凸损失函数和自适应稀疏转换器,以改善模型的可解释性和性能。
本文介绍Fenchel-Young损失,一种基于正则化预测函数的凸损失构造方法,统一了众多著名损失函数,揭示其与稀疏性、广义熵和分离边界的联系,并推导出高效预测与训练算法。研究还涉及在线共形预测、结构化预测、在线凸优化及在线到批量转换。
该文综述Boosting研究进展,提出通用框架优化弱分类器以处理多分类问题,分析在线提升算法及其最优性,将增强学习推广至多分类并引入弱学习条件,扩展Boosting支持任意凸损失函数,提出ProBoost利用不确定性提升性能,证明弱可学习性及迭代收敛,探索量子AdaBoost加速,并提出多分类转二分类在线算法及在线梯度推进回归方法。
完成下面两步后,将自动完成登录并继续当前操作。