研究发现大语言模型（LLMs）存在记忆化现象，模型大小、连续大小和上下文大小之间存在记忆化关系。通过实验证实了句子的嵌入分布和解码动态，揭示了记忆化和非记忆化句子的边界效应。通过训练Transformer模型预测记忆化，证明了通过上下文预测记忆化的可行性。

研究发现大语言模型（LLMs）存在记忆化现象，模型大小、连续大小和上下文大小之间存在记忆化关系。通过实验证实了句子的嵌入分布和解码动态，揭示了记忆化和非记忆化句子的边界效应。通过训练Transformer模型预测记忆化，证明了通过上下文预测记忆化的可行性。