AI长期运行后记忆衰退,OpenAI通过“梦境”机制在后台整理记忆,合并重复、取代旧事实、综合推论,使召回率从41.5%提升至82.8%。Anthropic、Google等公司跟进,核心理念是主动清理优于无限扩容。记忆管理转向主动遗忘,保留历史痕迹,但综合节奏和版本处理仍待解决。
本研究提出了一种主动遗忘的预训练策略,以提升解码器语言模型在非英语语言上的表现。实验结果表明,该方法有效增强了模型的跨语言迁移能力,改善了多语言表示,从而在多个任务中取得了更好的性能。
完成下面两步后,将自动完成登录并继续当前操作。