我在大模型应用之RAG方向的探索、实践与思考
内容提要
本文介绍了RAG平台的背景、核心工作、业务实践和未来展望。RAG是将大语言模型和领域知识相结合的模式，提高模型准确性和效率。平台提供了资源打通和Pipeline构建的框架，用户可定制流程。已有的业务实践包括商家AI助理和知识助手应用。未来，平台将继续发展，探索单/多Agent在业务中的价值，并提供更易用的平台能力。
延伸解读
RAG平台为何而生：定制化需求驱动
文章指出，现有RAG框架和应用难以满足业务方高度定制化的需求，如小白类业务方需要平台提供存储、算力、策略；多输入输出场景与主流RAG链路不兼容；需要人工快速干预、数据链路闭环、优质数据导出、开发生产隔离等。因此，团队从零开始构建RAG平台，旨在提供全链路端到端问答能力，并支持用户二次开发。这反映了RAG落地中平台化、定制化的重要性。
技术核心：资源打通与Pipeline构建
平台在技术层面重点解决了服务资源打通和Pipeline构建问题。资源打通包括存储（京东Vearch向量库）、模型（大模型网关、自部署模型）、服务部署和算力资源。Pipeline构建采用组件化方式，用户通过连接输入输出、知识库、大模型、Prompt、Python函数、分支、Agent等组件来定义流程，降低了使用门槛。这种设计让用户更关注业务逻辑，而非底层实现。
效果调优：全链路数据回流与评估体系
针对RAG流程构建后效果调优的痛点，平台提供了全链路数据回流、数据工程、关键组件优化、路由和评估体系。全链路数据回流保存运行时中间状态，支持回溯分析；数据工程支持多种数据类型、分割策略和数据增强；关键组件优化沉淀了检索前、中、后的优化策略；评估体系与数据回流打通，可自动触发模型微调，实现效果优化自动化。这些能力共同提升了RAG应用的可维护性和效果。
业务实践与未来方向
RAG平台已服务多个项目，如B商城商家AI助理应用，提供后端RAG服务，对上千家店铺提供服务；知识助手应用支持日活约7000，日访问量2-3万。未来，团队将投身于RAG业务落地效果提升及单/多Agent在业务中的价值探索，结合京东内部场景，打造更易用的平台能力，快速复用于不同业务，提高开发效率。这表明RAG平台正从基础能力向更智能、更易用的方向演进。
Q&A
RAG平台的主要功能是什么？
RAG平台结合大语言模型和领域知识，提高模型的准确性和效率，支持用户定制化流程。
RAG的主要流程是怎样的？
RAG的主要流程包括从知识库检索相关内容并将其拼接到prompt中，以便大语言模型进行回答。
RAG平台如何支持多种数据类型？
RAG平台支持多种数据类型，如txt、docx、pdf等，并提供不同的分割策略以提升数据处理能力。
RAG平台的未来发展方向是什么？
未来，RAG平台将探索单/多Agent在业务中的价值，并提升平台的易用性和服务能力。
RAG平台如何实现效果优化？
RAG平台通过全链路数据回流和评估体系，自动化触发模型微调，从而实现效果优化。
RAG平台的应用实例有哪些？
RAG平台已在多个项目中应用，如商家AI助理和知识助手，提升了业务效率和用户体验。
