量子位
·
垃圾信息刷多了AI也会变蠢！“年度最令人不安的论文”
💡
原文中文，约4600字，阅读约需11分钟。
📝
内容提要
研究表明，AI模型在接触低质量数据后会出现不可逆的“脑损伤”，导致推理和记忆能力显著下降。即使后续使用高质量数据训练，模型性能也无法完全恢复。这一现象与人类因接触碎片化信息导致的认知衰退相似，凸显了数据质量对AI发展的重要性。
🎯
关键要点
- 研究表明，AI模型在接触低质量数据后会出现不可逆的“脑损伤”。
- 模型推理能力下降23%，长上下文记忆下降30%。
- 即使后续使用高质量数据训练，模型性能也无法完全恢复。
- 研究提出并验证了“LLM脑损伤假说”。
- 定义“垃圾数据”为非恶意低质量数据，如短平快的热门推文。
- 研究使用了四个不同的大语言模型进行实验。
- 模型认知能力测试包括推理能力、记忆与多任务处理能力等。
- 垃圾数据的摄入越多，AI认知损伤越严重，尤其在安全性和人格层面。
- 研究发现AI的思维跳跃是导致认知受损的主要原因。
- 尝试的修复方法无法完全恢复模型的初始性能。
- 研究提醒行业关注训练时的数据质量，建议进行AI认知体检。
- 研究团队由8人组成，其中7人为华人，显示出强大的华人科研力量。
❓
延伸问答
AI模型接触低质量数据会有什么后果？
AI模型在接触低质量数据后会出现不可逆的“脑损伤”，导致推理能力下降23%，长上下文记忆下降30%。
什么是“垃圾数据”？
“垃圾数据”是指非恶意的低质量数据，如短平快的热门推文和标题党内容。
研究是如何验证“LLM脑损伤假说”的？
研究通过对四个不同的大语言模型进行训练，使用垃圾数据和对照数据，测试模型的推理、记忆和人格特质等能力。
AI认知损伤的主要原因是什么？
AI认知损伤的主要原因是“思维跳跃”，即模型在推理时跳过关键步骤，导致错误答案。
研究对行业有什么启示？
研究提醒行业关注训练数据的质量，建议进行AI认知体检，避免模型长期接触低质量数据。
尝试的修复方法为何无法完全恢复模型性能？
尝试的修复方法如外部反思和大规模微调都无法完全恢复模型的初始性能，损伤是不可逆的。
➡️
