清华教授唐杰在微博上分享了关于AI的八个新见解，强调基座模型的有效性、Agent的生产力、模型记忆与在线学习的重要性，以及领域大模型的伪命题。他认为AI应替代人类工作并创造价值，未来将实现更高效的模型应用。

权重衰减和学习率在大语言模型预训练中至关重要。本文从滑动平均的角度探讨如何合理设置这两个参数，以增强模型的记忆能力，避免遗忘早期数据，同时防止欠拟合和权重爆炸。

Claude系统提示词泄露引发讨论，Karpathy指出大型语言模型缺乏关键学习范式，并提出新方法以模拟人类学习，增强模型的记忆和反思能力。尽管新方法受到关注，但也有人质疑模型可能会混乱，难以有效理解提示。

本研究分析了成员推断攻击（MIA）在大语言模型中的局限性，指出合成数据可能导致错误的模型记忆和数据泄漏，强调评估时需谨慎。