本研究探讨了机器学习模型在小数据集上进行不确定性校准的挑战。通过受神经科学启发的随机噪声预训练方法，研究表明该方法能有效提高神经网络的不确定性校准，使信心水平与实际准确性一致，并增强对未知数据的识别能力。

本研究针对医学图像分割领域缺乏通用基础模型的问题，提出了两种构建方法：调整现有自然图像模型和从头训练专门的医学图像模型。这些基础模型能显著降低特定任务AI模型的开发需求，并在小数据集上有效应用。

该研究探讨了微调超参数的最佳实践，发现动态学习率探索效果不佳，超参数与数据集及域相似性相关。提出新的模型选择基准，强调预训练模型在小数据集下的应用及其鲁棒性问题，并建议通过改进网络结构和知识转移提升模型性能。

本文研究了多种基于抽样的测试技术，以提高深度神经网络的准确性和不确定性估计。提出了一种结合深度神经网络和XGBoost的方法，适用于小数据集，显著提升预测区间的准确性。同时，探索了在资源受限环境中降低不确定性的方法，通过新型硬件设计和算法增强神经网络的可靠性和能效。

本文探讨了多种交叉验证方法在机器学习中的应用，特别是在心血管疾病分类任务中的评估。研究发现，留源交叉验证提供了更可靠的性能估计，而新提出的 J-K 折交叉验证方法在自然语言处理任务中表现出更少的变异性。此外，嵌套交叉验证在统计效力和置信度方面优于其他方法，适合小数据集使用。

本研究提出了一种新的自监督学习方法，通过训练神经网络来识别视频中的不稳定运动并增强神经网络在小数据集上的训练。实验证明该方法提高了动作识别的传递性能。