科学与工程助力更优秀的文本生成 [译]
内容提要
当前的文本生成技术存在问题，但通过全新的方法可能解决。AI研究应该注重常识推理，而不是追求更强大的系统。将语言能力与知识分开处理可以提高文本生成器的可靠性和效率。依赖检索的系统可以提供更准确、相关的答案，并避免虚假生成。然而，技术和版权问题仍需解决。
延伸解读
规模扩张的局限与转向
文章指出，GPT 规模扩张可能已接近极限，因为现有模型几乎训练了所有有价值的文本，进一步提升实用性变得困难。作者认为，继续投入数十亿美元建造更大模型可能浪费资源，而 AI 热潮可能像以往一样消退。这提示读者，未来改进或许不再来自单纯增加参数，而需探索新范式。
分离语言与知识的优势
将语言能力与知识分开处理，可让小型 GPT 专注于语言流利度，而知识则来自明确文本数据库。这能消除“幻觉”现象，使输出更忠实于来源，并降低模型规模，便于分析验证。检索增强系统如 Atlas 已展示效率优势，但纯检索系统仍需解决计算成本问题。
版权与实用性的平衡
基于检索的系统能提供来源链接，这既有助于评估内容质量，也可能通过引导用户购买版权作品形成双赢。然而，自动改写是否足够“转化”以规避侵权，仍有法律不确定性。作者认为，无知检索系统在版权法面前可能提供解决方案，但需关注技术和法律风险。
Q&A
当前文本生成技术（如ChatGPT）存在哪些主要问题？
当前文本生成技术存在不可靠、使用复杂、功能有限、开发与运行成本极高等问题，且会产生“虚构事实”或“幻觉”现象。
为什么说AI研究应关注常识推理而非追求更强大的系统？
因为单纯追求更强大的系统可能已接近极限，且潜在灾难情景层出不穷；而常识推理可能是突破现有技术限制的关键，通过科学研究和工程改进来探索答案更安全。
将语言能力与知识分开处理有什么好处？
可以提高文本生成器的可靠性和效率，消除“虚构事实”或“幻觉”现象，使输出更忠实于文本数据库，并让系统更容易被分析、理解和验证。
依赖检索的系统相比传统GPT有哪些优势？
依赖检索的系统能提供更准确、相关的答案，避免虚假生成；文本数据库可以低成本更新，输出能立即反映变化；还能引用来源，让用户评估信息质量。
为什么纯检索系统目前还不普及？
技术上的原因是运行时的计算成本较高，语义检索需要额外开销；公共关系上的原因是主要AI实验室可能认为这与创建通用人工智能的目标相悖，且纯检索系统可能不适用于所有任务。
无知检索系统如何帮助解决版权问题？
无知检索系统可以向用户提供生成内容所依据的来源链接，用户可能因此购买版权作品，形成双赢；类似Google图书的片段展示，可能被认定为合理使用，同时为作者和出版商带来收益。
