本研究探讨了带标签噪声的预训练模型对随机梯度下降的影响，结果表明预训练在噪声环境中促进复杂特征学习，提升模型性能，并帮助梯度下降找到替代最小值，增强学习能力。

本研究针对大型语言模型在表格机器学习中的特征工程偏差，提出了一种检测模型建议特征操作频率异常的方法。研究发现，LLMs倾向于使用简单操作，忽视复杂特征组合，可能导致预测性能下降。