本文研究了在线优化中的非凸目标函数，提出了改进的Frank-Wolfe算法和在线随机梯度上升算法，并证明了它们在遗憾界限上的有效性。研究还扩展到弱次模函数，展示了算法在非凸规划和子模函数优化中的应用效果。

本文介绍了一种基于变分推理的贝叶斯系统发育分析方法，结合分支分离贝叶斯网络和随机梯度上升，实现了高效探索，性能与MCMC相当。同时，研究了稀疏潜在因子模型中的Gibbs采样和变分贝叶斯框架在无监督聚类中的应用，证明了其在参数估计和模型学习中的优势。