AI幻觉是生成式AI模型产生的看似合理但错误或虚构的输出,源于模型预测机制而非感知。它带来法律、财务和声誉风险,如谷歌Bard错误导致市值损失、Air Canada聊天机器人误导客户被裁定担责。减少幻觉需结合数据治理、检索增强生成、明确边界、持续评估和人工审核,尤其在高风险领域如医疗、法律和金融。
论文针对基于大语言模型的语音合成在复杂文本上出现的重复、漏读等稳定性幻觉问题,提出通过注意力引导进行优化。作者从CosyVoice 2的自注意力中发现对齐注意力头,提出最优对齐分数(OAS)评估对齐质量,并据此强化前向注意力约束;同时利用伪对齐路径构建位置思维链,通过稀疏文本Token和进度条预测显式告知模型合成位置。实验表明,该方法在困难文本上词错误率相对下降约35%,且不损害自然度和说话人相似度。
GraphEval是亚马逊研究者提出的框架,利用知识图谱检测大语言模型的幻觉问题。它通过构建语义三元组,并用自然语言推理模型评估每个三元组是否被上下文蕴含,未蕴含的即标记为幻觉。该框架强调可解释性,便于定位幻觉根源。
LLM并非许愿机,而是概率机,输出取决于上下文信息。任务分压缩、转录、补全三类,补全易致幻觉,需外部验证。有效使用需提供足量原始材料、允许提问、接入搜索工具,并建立反馈闭环(如Plan模式、日志)以修正偏差。多agent系统应保留可追溯证据链,避免信息层层失真。
大模型Skill开发中,核心术语选择影响巨大:用“漏洞”准确率89.3%,用“风险”仅62.1%。原因是“风险”语义宽泛,触发模型发散性输出,突破约束。构建高质量Skill需结构化工作流、校验循环、定义文件和定制工具。应选窄边界词,用否定清单、硬输出格式锚定边界,并可用语义陷阱检测器自动化排查。
文章讨论了在构建可靠AI系统时,处理金融报告PDF所面临的问题。由于自动化数据提取错误,导致信息不准确。为了解决这一问题,团队重新设计了数据管道,采用确定性检查,以确保数据的准确性和完整性,从而提高系统的可靠性并降低成本。
DeepSeek V4 Pro的幻觉率高达96%,但在编程方面表现出色。Minimax M3以16%的低幻觉率显示出更好的自我认知能力。高幻觉率并不意味着模型能力差,而是由于过度自信导致的错误。这表明在不同任务中选择合适的模型至关重要。
《立方体》是吉姆·汉森于1969年创作的超现实剧本,讲述一名男子在白色立方体中醒来,面临现实与幻觉的困惑。剧中人物不断挑战他的理智,探讨存在的本质。尽管鲜为人知,该剧的怪异风格与现代反乌托邦系列《黑镜》相似。
AI的幻觉、越狱和误拒问题源于结构熵与语义熵的失衡。维持临界点负零点零三的平衡是实现通用智能的关键。通过熵平衡训练法,可以提升AI的创新、准确性、泛化能力和自我校正能力。
Mozilla推出MDN MCP服务,旨在解决AI在前端开发中因过时数据导致的“幻觉”问题。该服务通过MCP协议连接MDN文档,确保AI提供最新、准确的Web规范和兼容性信息,从而提升开发效率,减少错误。
毕马威会计师事务所因其2025年发布的人工智能使用报告存在多种错误而撤回该报告。报告中提到的瑞银集团等机构指出内容误导或错误,毕马威被指未对AI撰写的报告进行真实性检查。该公司已启动内部调查,并删除了该报告。
云南的兰茂牛肝菌食用后可导致幻觉,表现为看到小人跳舞。科学家对其基因组进行测序,发现其致幻机制与已知致幻物质无关,可能存在未知的生化合成途径。历史上有类似现象的记录,但食用未熟的蘑菇极具危险性,可能导致严重后果。科学界仍在探索其致幻机制。
作者通过将OpenClaw的记忆功能从文本文件替换为Node.js和Postgres数据库,显著降低了模型的幻觉和上下文漂移。新系统通过严格的数据库结构和API契约,确保模型记录准确的信息,避免错误记忆。尽管增加了150毫秒的延迟,但有效解决了模型的错误输出问题。
深度求索(DeepSeek)回应用户反馈,表示输入特殊字符<think>时模型返回无关内容属于模型幻觉,不涉及隐私泄露。技术团队已修复此问题,并增强模型对特殊字符的识别能力,以确保用户数据安全和使用体验。
深度求索(DeepSeek)回应用户反馈,表示输入特殊字符<think>时模型返回无关内容,属于模型幻觉,不涉及隐私泄露。技术团队已修复此问题,并将增强模型对特殊字符的识别能力,以优化用户体验。
上海人工智能实验室与复旦、上海交通大学团队提出了Thoth模型,旨在生成可执行的生物实验protocol。该模型通过结构化推理,确保实验步骤的合理性和准确性。团队构建的SciRecipe数据集涵盖27个生物学领域,提升了实验方案生成的可靠性。Thoth在多个评估中表现优异,标志着AI在生命科学研究中的新应用方向。
大语言模型(LLM)与通用人工智能(AGI)存在本质区别。LLM缺乏真实的世界模型,无法理解符号与现实的对应关系,其输出仅为统计结果。当前AI的“智能涌现”常被误解,缺乏因果关系理解能力。相比之下,人类通过内在世界模型和主动探索,能够有效学习和适应环境。未来AI的发展需结合因果模型与主动学习,才能实现真正的智能。
文章讨论了为AI构建简化技术栈的方法,以减少上下文窗口中的幻觉。提出了三个原则:使用单一二进制后端、配置即真相、避免多租户架构。通过简化系统,AI能够更好地理解全局,减少错误。
大型语言模型(LLMs)常使用冗长的语言,导致生成的回答可能偏离事实并增加幻觉风险。为解决此问题,文章介绍了使用Textstat库测量可读性,并在复杂度超标时自动简化回答,通过设置复杂度预算确保生成文本更简洁,从而降低幻觉发生的可能性。
MCP时代AI Agent面临“幻觉权限”安全威胁,即AI被恶意prompt欺骗执行越权操作。文章提出三道防线:默认最小权限,限制工具参数;人机回环,破坏性操作需人工审批;零信任逐调鉴权,每次调用验证用户身份。三者结合,确保Agent能力不超用户权限,防止数据泄露或破坏。
完成下面两步后,将自动完成登录并继续当前操作。