提示工程、RAG和微调 - 哪个才是大模型应用优化的最佳路径？
内容提要
本文讨论了大模型应用中的三种优化方法：提示词工程、RAG和模型微调。提示词工程是经济有效的方式，解决模型行为和知识补充问题；RAG通过检索补充上下文数据，解决模型知识不足；微调通过调整模型行为来优化性能。作者建议先尝试提示词工程，再考虑引入RAG或微调。大模型应用的验证可采用基于统计的验证、基于模型的验证或人工验证。最终，大模型应用的优化往往综合使用这三种方法。
延伸解读
从两个维度理解优化方法
文章指出大模型应用优化需关注两个维度：行为优化和上下文优化。行为优化关注模型输出形式上的稳定性，如格式、语气；上下文优化关注私域数据，解决模型知识不足。提示词工程能同时作用于两个维度，RAG侧重上下文补充，微调侧重行为调整。理解这两个维度，有助于根据实际需求选择合适的技术路径。
选择路径的实用判断标准
作者建议先尝试提示词工程，当提示词模板变得复杂且效果不佳时，再考虑RAG或微调。具体判断：若模板中大部分是模型未知且来自外部数据源、频繁变动的知识，应引入RAG；若模板中大部分是希望模型模仿的示例，但输出仍不稳定，应引入微调。这为技术选型提供了可操作的依据。
大模型应用验证的独特挑战
大模型应用具有不确定性，相同输入可能产生不同输出，传统基于等式的测试方法不再适用。文章提出三种验证路径：基于统计的验证（如BLEU、ROUGE）、基于模型的验证（如RAGUS、DeepEval）和人工验证。其中人工验证虽然效率低，但当前最为准确。企业需重构测试流程，以适应大模型应用的特点。
综合使用与成本考量
提示工程、RAG和微调并非互斥，而是相互配合。提示工程成本低、见效快，但受限于上下文窗口；RAG擅长补充知识但不改变行为；微调能固化行为、提升响应速度并节省token，但需要一次性大额投入，适合高频固定任务。企业应根据场景验证结果，组合使用三种方法，以达到最佳效果。
Q&A
什么是提示词工程，它的主要优点是什么？
提示词工程是一种经济有效的优化方法，可以同时为模型补充上下文和优化模型的行为，见效快且成本低。
RAG技术如何解决模型知识不足的问题？
RAG通过检索相关数据来补充模型的上下文信息，使其能够回答未见过的问题，从而解决知识不足的问题。
微调与提示词工程有什么区别？
微调是基于预训练模型的调整过程，主要用于改变模型的行为，而提示词工程则是通过优化输入提示来提升模型的输出效果。
在大模型应用中，如何选择使用提示词工程、RAG或微调？
建议首先尝试提示词工程，如果效果不理想，再考虑引入RAG或微调，根据具体场景和需求进行选择。
大模型应用的验证方式有哪些？
大模型应用的验证方式包括基于统计的验证、基于模型的验证和人工验证，需根据具体情况选择合适的方法。
企业在构建大模型应用时需要注意什么？
企业需要定制化大模型应用方案，关注应用场景，构建持续改进机制，确保大模型与现有系统的有效融合。
