OpenAI 们的未来，可能得靠《哈利·波特》来「拯救」
内容提要
《纽约时报》起诉OpenAI和微软侵权，要求销毁使用其材料的聊天机器人和训练数据。华盛顿大学等研究人员开发了名为'Silo'的大语言模型，可减少法律风险。微软研究员尝试更接近'遗忘'的方法，让模型自己找出和《哈利·波特》相关的元素并替代表达。《哈利·波特》小说在AI科研界受欢迎，被用于训练语言模型。希望AI研究者能记住哈利的善良、勇敢和节制。
延伸解读
版权诉讼下的技术挑战
《纽约时报》起诉OpenAI和微软侵权，要求销毁相关聊天机器人和训练数据，这凸显了AI公司面临的法律风险。然而，从已训练的大模型中剔除特定数据极为困难，如同从蛋糕中剔除糖或黄油。如果无法精准移除侵权内容，公司可能被迫销毁整个模型，造成巨大损失。
机器遗忘的两种路径
为应对版权问题，研究人员探索了不同方法。华盛顿大学的Silo模型将训练数据分为低风险和高风险库，推理时动态调整高风险数据，但剔除《哈利·波特》后模型表现下降。微软研究员则尝试更接近“遗忘”的方法，通过建立加强模型识别相关元素，并将其普通化替代，从而在保持整体能力的同时实现遗忘。
《哈利·波特》为何成为测试基准
《哈利·波特》在AI科研中备受青睐，因其语言丰富、情节生动，适合训练语言模型。同时，年轻研究员成长过程中多受该系列影响，熟悉且易于设计测试。此外，它在AI文化中也有特殊地位，如同人小说《哈利·波特和理性之道》在有效利他主义（EA）社群中具有影响力，甚至被视为招募文。
遗忘技术的局限与启示
微软研究员的遗忘方法在虚构作品上效果较好，因为其中包含大量特定词语，易于识别和替换。但面对新闻报道或非虚构作品，难度可能更大。这提示我们，机器遗忘技术仍需进一步发展，以应对更广泛的版权挑战。同时，AI的“遗忘”更像是一种魔法，反映了当前对模型内部机制理解的不足。
Q&A
《纽约时报》起诉OpenAI和微软的具体诉求是什么？
《纽约时报》要求两家公司销毁涉及使用《纽约时报》相关材料的聊天机器人和训练数据。
为什么从大模型中剔除特定数据非常困难？
因为数据已经融入大模型的演算中，就像想从做好的蛋糕里剔除糖或黄油一样困难。
Silo大语言模型是如何减少法律风险的？
Silo将训练数据分为低侵权风险和高风险数据，先用低风险数据训练模型，推理时可读取高风险数据库，该库可灵活增减，从而在出现版权纠纷时调整数据。
微软研究员让模型‘遗忘’《哈利·波特》的三个步骤是什么？
第一步，建立一个针对要遗忘内容的加强模型，找出与《哈利·波特》最强相关的元素；第二步，将这些独有表达‘普通化’，让模型寻找替代表达；第三步，用这些普通化数据精调模型，实现‘遗忘’。
为什么《哈利·波特》在AI科研界特别受欢迎？
一方面因为小说语言丰富、情节精彩、角色生动、双关巧妙，适合训练语言模型；另一方面因为年轻研究员成长过程中大多经历过《哈利·波特》的黄金时期，对其熟悉和喜爱。
AI聊天机器人与《哈利·波特与魔法石》中的厄里斯魔镜有何相似之处？
AI聊天机器人只是反映了用户自己的智力和偏见，就像厄里斯魔镜只是人的欲望的倒影一样。
《哈利·波特和理性之道》在AI研究领域有什么特殊地位？
这部同人小说在EA（有效利他主义）派中具有特殊地位，甚至被称为‘招募文’，影响了许多年轻研究员了解EA并加强进入人工智能领域的决心。
