如何构建知道自己不知道的AI系统：实用指南
内容提要
本文介绍如何构建企业级LLM应用的不确定性检测框架，以解决模型过度自信导致的幻觉问题。通过三层验证：输入边界检测、检索质量评分和输出概率分析，系统能识别知识缺口并路由低置信度请求至人工处理。文章提供Python代码实现，强调用确定性代码而非系统提示词来保障可靠性。
延伸解读
为何系统提示词不可靠
文章明确指出，依赖系统提示词如“仅当100%确定时回答”并不可靠，因为模型在预测token序列时容易绕过这些约束。因此，企业级应用需要确定性代码边界，独立于模型输出评估语义相关性、文档距离和token概率。这提醒开发者，安全机制应建立在代码层面，而非依赖模型自我报告。
三层验证的实际价值
该框架通过输入边界检测、检索质量评分和输出概率分析三层验证，将不确定性检测从单一维度扩展为多阶段防线。每层都有明确职责：阻止越界查询、防止低质量上下文进入生成、识别低置信度输出。这种分层设计有助于在早期拦截错误，减少不必要的API调用和计算成本。
阈值调优与运维要点
文章强调，相似度阈值和logprob阈值需要持续调优，因为嵌入距离对文档长度和词汇敏感。同时，应监控检索失败请求，以发现知识库中的缺失或过时文档。这表明，不确定性检测并非一次性配置，而是需要结合日志分析和业务反馈进行迭代优化。
Q&A
为什么大型语言模型在企业应用中会过度自信并产生幻觉？
大型语言模型被优化用于生成最可能的词元，而不是评估自身的不确定性。当遇到模糊提示、不完整的检索上下文或超出范围的边缘情况时，模型会自信地编造看似合理的虚假信息，而不会向用户表示不确定。
构建不确定性检测框架的三个验证层是什么？
三个验证层是：1) 输入意图与边界检测，用于判断查询是否在系统有效领域内；2) 语义距离与检索质量评分，用于评估检索到的上下文与查询的相关性；3) 概率logit分析与输出验证，用于检查生成词元的概率以判断模型是否自信。
如何实现输入边界检测来阻止超出范围的查询？
使用BoundaryDetector类，将批准的主题转换为向量嵌入，计算用户查询与这些嵌入的余弦相似度。如果最高相似度低于阈值（如0.45），则拒绝请求，从而节省API成本并防止超出范围的猜测。
检索质量评分如何帮助减少RAG系统的幻觉？
通过RetrievalQualityScorer类，将用户查询和检索到的文档块编码为向量，计算它们之间的余弦相似度。如果最高相似度分数低于最小相关性阈值（如0.60），则标记上下文不足，阻止将不相关的文本发送给模型，从而减少幻觉。
如何使用logprobs分析来检测模型输出的不确定性？
通过OutputLogprobValidator类，计算生成词元的平均logprob和困惑度。如果平均logprob低于阈值（如-0.35），则判断模型生成不自信，触发回退或升级处理。
为什么不能依赖系统提示词来让模型承认不确定性？
因为模型在预测词元序列时容易绕过系统提示词的限制，即使提示“只有100%确定才回答”，模型仍可能自信地生成错误答案。因此，需要使用确定性的代码边界来独立评估语义相关性和词元概率。
在运行不确定性检测系统时，有哪些实用的操作经验？
经验包括：将置信度检查与系统提示词解耦，使用数学指标如logprobs和向量距离；建立明确的升级工作流，将低置信度查询路由到人工审核；监控检索指标以发现知识缺口；持续调整相似度阈值以适应文档变化。
如何将三个验证层集成到一个统一的不确定性检测引擎中？
通过EnterpriseUncertaintyEngine类，它依次调用边界检测、检索质量评分和输出logprob验证。每个检查失败都会导致请求被拒绝、升级或回退，只有全部通过才生成最终响应。
