本研究探讨大型语言模型（LLMs）因记忆训练数据而引发的隐私和版权问题，分析注意力模块对记忆和泛化性能的影响，并提出减少记忆效应的解决方案。

本研究解决了机器学习模型在处理具有伪相关的样本时测试性能不平衡的问题，特别是少数群体的准确性低下。通过分析记忆现象，本文首次证明记忆在这一不平衡表现中的作用，并提出通过消除不必要的伪记忆模式来改善少数群体的模型表现的新方法。这些发现为神经网络如何编码重要与伪相关知识提供了新视角，并为未来研究奠定了基础。

本研究提出了一种基于内点记忆效应的异常值检测方法，通过增加训练数据尺寸和使用自适应阈值设计截断损失函数，达到了最先进的性能。该方法与隐私保护算法结合展现了良好的鲁棒性。

神经随机伏特雷方程是具有记忆效应和不规则行为的随机系统的数学模型。研究者提出了基于物理启发的神经随机伏特雷方程，并进行了理论探讨。数值实验展示了神经随机伏特雷方程、神经随机微分方程和深度操作网络的性能。

研究发现大语言模型（LLMs）存在记忆化现象，模型大小、连续大小和上下文大小之间存在记忆化关系。通过实验证实了句子的嵌入分布和解码动态，揭示了记忆化和非记忆化句子的边界效应。通过训练Transformer模型预测记忆化，证明了通过上下文预测记忆化的可行性。