本研究探讨了在低资源语言环境下优化大型语言模型训练的方法。通过多轮次、多语言和两阶段训练，提出了降低超参数搜索成本的策略。研究发现，随着语料量减少，最佳训练方法由单语单阶段转向多语两阶段，且最佳模型规模在不同语料量下保持稳定。

本文介绍了一种扩展变分自动编码器（VAE）的方法，通过逐步减小潜空间大小来自动确定最佳潜空间，速度显著快于传统的超参数搜索。该方法在多个图像数据集上表现优异，且与最佳潜空间大小的性能相当，提供了便利的替代方案。

本文综述无参数随机优化研究，探讨完全无参数方法的适用条件，并展示简单超参数搜索在凸与非凸环境下可超越先进算法。针对仅可获取随机梯度的场景，提出部分无参数方法，涵盖SignSGD、归一化SGD、AMSGrad、AdaGrad、投掷硬币SGD、分布式方差约减、GDFO及自适应学习率等技术，证明无调参即可实现近最优收敛。