该研究项目专注于并行和分布式机器学习算法，优化大型语言模型的预训练。通过使用消费级GPU和隐私保护技术，研究了计算资源的动态管理和内存需求的降低，结果显示适当的技术组合可以显著减少训练内存需求，同时保持精度。此外，研究探讨了卷积神经网络在边缘AI中的计算和存储需求，提出了新的内存数据排列策略，以提升模型推理速度。