本文研究了高维线性回归模型中的经典估计方法，如最小范数插值器和岭回归，揭示了预测风险与特征数目和样本大小比的非单调关系，表现出双峰现象。同时探讨了过度参数化模型在插值噪声数据时的行为及其对模型性能的影响。

本文研究了高维线性回归模型中的分布式估计和支持恢复，提出了一种高效的分布式估计器，利用分位数回归损失函数处理重尾噪声。该方法在少数迭代后实现快速收敛，并为支持恢复提供理论保证，适用于大规模数据和实时处理。

本文研究了代理损失估计误差及其保证方法，探讨了零一损失和对抗性损失的具体保证，提出了Huber损失估计器及其一致性，分析了高维线性回归的稳健性，并提供了多项式时间算法以解决非凸优化问题。

本文研究高维下的稳健平均数估计，提出了一种基于当前猜测值的自然算法，能够在次线性时间内逼近真实平均数并达到理论最优解。同时，探讨了在恶意污染和噪声情况下的协方差矩阵估计及高维线性回归问题，提出了有效算法并分析了其统计性能。