研究表明，采用“金鱼损失”方法训练大模型，可以减少模型对训练数据的记忆，提高智能。该方法通过随机剔除部分token，防止逐字复现内容，同时保持文本流畅性。实验结果显示，金鱼损失显著降低了模型记忆化程度，且性能未受影响。

本研究探讨了单语言模型在加泰罗尼亚语中的优越性，证明其在数据充足时效果优于多语言模型。介绍了多语言模型的能力与局限性，并提出了针对低资源语言的新模型“金鱼”，在多种语言任务中表现出色，为自然语言处理研究提供了基准。

本文介绍了针对长视频理解的模型和基准测试，包括 LongVLM、VideoAgent 和 DrVideo。这些模型通过视频分解、层次性记忆机制和文档检索等方法，提高了长视频问答的准确性和效率。研究表明，现有模型在长视频理解上仍面临挑战，新的基准测试 LVBench 和 InfiniBench 旨在推动该领域的发展。

通过引入一种名为金鱼损失的微妙修改，我们减轻了大型语言模型记忆和重复其训练数据所带来的隐私和版权风险。我们进行了大规模实验，训练了数十亿规模的 Llama-2 模型，并证明了可提取的记忆量显著减少，同时对下游基准测试的影响几乎没有。

本文提出了一种新型的联邦遗忘框架，旨在解决联邦学习中的遗忘问题。该方法通过减去历史更新来消除客户端贡献，并利用知识蒸馏恢复模型性能，无需依赖客户端数据。此外，研究还探讨了基于区块链的可信联邦取消学习框架和快速数据淘汰方法，以保护数据隐私。实验结果显示，该框架在准确性、通信成本和去学习效果方面表现优越。