-bnt44oskjy.png)
使用MongoDB构建AI：Patronus如何自动化LLM评估以增强对生成式AI的信心
内容提要
Patronus AI是一个自动化评估平台，用于大型语言模型（LLMs）。它通过评分和基准测试LLM性能，生成测试用例，监控幻觉和检测不安全行为，帮助提高企业对基于人工智能的应用的信心。最近的研究发现，广泛使用的LLMs在回答金融分析师的问题时经常出错。该公司与gen AI生态系统中的领先技术合作，提供托管评估服务和测试套件。Patronus还提供了一个关于评估基于MongoDB Atlas的检索系统的10分钟指南。开发人员可以根据分析结果采取措施来提高RAG系统的性能。持续测试对于保持性能改进非常重要。
延伸解读
金融领域LLM的高错误率警示
Patronus AI的研究发现，即使模型上下文窗口通过外部向量存储检索得到增强，广泛使用的最先进LLM在回答金融分析师问题时，错误或拒绝回答的比例高达81%。这表明在金融等受监管行业，仅依赖RAG可能不足以确保可靠性，必须引入系统化的评估机制来检测幻觉和错误。
RAG系统评估与优化的具体路径
Patronus提供的10分钟指南展示了如何评估基于MongoDB Atlas的检索系统，针对SEC 10-K文件模拟金融分析师查询，评估幻觉和答案相关性。开发者可根据评估结果，通过探索不同索引、调整文档分块大小、重新设计提示或微调嵌入模型来优化RAG性能。
持续测试是维持RAG性能的关键
Patronus联合创始人兼CTO Rebecca Qian强调，无论采用何种方法调试和修复幻觉，持续测试RAG系统都至关重要，以确保性能改进随时间保持。开发者可以迭代使用Patronus API来确认改进效果，从而在部署AI产品时保持信心。
Q&A
Patronus AI是什么？它主要解决什么问题？
Patronus AI是一个自动化评估平台，专注于大型语言模型（LLMs）的性能评估。它通过评分、基准测试、生成测试用例、监控幻觉和检测不安全行为，帮助企业提高对生成式AI应用的信心。
Patronus AI的研究发现LLMs在金融问答中的错误率有多高？
Patronus AI基于FinanceBench问答评估套件的研究发现，许多广泛使用的最先进LLMs在回答金融分析师问题时，错误回答或拒绝回答的比例高达81%。
Patronus AI如何帮助评估基于MongoDB Atlas的RAG系统？
Patronus AI提供了一个10分钟指南，展示如何评估基于MongoDB Atlas的检索系统。该指南使用LlamaIndex摄取和分块PDF文档，用Atlas Vector Search存储、索引和查询块元数据及嵌入，并用Patronus对模型响应进行评分，重点评估幻觉和答案相关性。
开发者可以采取哪些步骤来改进RAG系统的性能？
开发者可以探索不同的索引、修改文档分块大小、重新设计提示，对于特定领域的应用还可以微调嵌入模型本身。
为什么持续测试RAG系统很重要？
持续测试对于保持RAG系统的性能改进至关重要，可以确保性能改进随时间得以维持。Patronus API可以迭代使用以确认改进效果。
Patronus AI与哪些合作伙伴合作提供评估服务？
Patronus AI与生成式AI生态系统中的领先技术合作，包括模型提供商、框架、向量存储和RAG解决方案，提供托管评估服务、测试套件和对抗性数据集。
