宝玉的分享 ·

构建更佳大语言模型（LLM）应用的四大要诀 [译]

💡 原文中文，约3400字，阅读约需8分钟。

📝

内容提要

文章提出构建更佳大语言模型应用的四大要诀：用LangChain等智能体与编排工具增强应用，使其能自我检查纠错；利用向量检索与RAG突破提示长度限制、减少幻觉；聊天机器人让用户以对话方式精细调整查询，使用率更高；选型时考虑开源及小型模型，兼顾数据安全、成本与响应速度。

🔎

延伸解读

智能体编排：让LLM应用具备自我纠错能力

文章指出，LangChain、LlamaIndex等编排框架可通过智能体增强LLM应用。智能体像插件一样以自然语言描述功能，帮助LLM判断是否需要调用、如何协作，并能在出错时分析错误信息进行纠正。例如执行SQL查询失败时，智能体可介入调整语法，避免传统应用一旦出错就束手无策。这提示开发者，提升应用稳定性不仅靠模型本身，还需设计可自我检查与纠错的编排层。

RAG与向量检索：突破提示长度限制的关键

文章将LLM应用分为三个层次：仅用模型知识、提示中附加信息、从外部数据源检索。第三层次需借助RAG和向量数据库，对非结构化数据进行语义索引，从而快速准确地提供上下文。Streamlit调查显示仅20%的生成式AI应用采用向量技术，说明这一能力仍有较大普及空间。开发者若面临知识不足或幻觉问题，可优先考虑引入向量检索与RAG。

聊天机器人：提升用户精细调整查询的体验

文章认为聊天机器人的优势在于让用户以对话方式添加上下文、精细调整答案，类似告诉搜索引擎“排除X”或“更重视Y”。Streamlit调查中28%的生成式AI应用是聊天机器人，其每周使用率接近40%，高于非聊天机器人应用。这表明对话式界面可能更受终端用户欢迎，但文章也提醒，聊天机器人是否合适取决于应用预期用途，并非所有场景都适用。

模型选型：在开源、小型与专有模型间权衡

文章建议选型时综合考虑知识范围、模型大小、训练预算及开源与否。内部应用若涉及敏感数据，企业可能倾向在现有云安全环境内运行小型LLM（如AI21、Reka），以兼顾安全与成本。大型LLM响应更慢、成本更高；简单任务如翻译或总结，小型模型可能更合适。开源模型（如LLaMA）源代码和细节更易获取，但需自行托管或通过托管服务推理。开发者应根据实际需求权衡，而非默认选择GPT类专有模型。

❓

Q&A

如何让大语言模型应用具备自我检查和纠错的能力？

可以使用智能体和编排工具（如LangChain、LlamaIndex）来增强应用。这些智能体能够协作，帮助大语言模型自我反思，判断是否犯错，并找出纠正错误的方法。例如，当应用生成SQL代码出错时，智能体可以分析错误信息并调整处理方式。

RAG是什么，它如何帮助减少大语言模型的幻觉问题？

RAG（检索增强生成）是一种通过向量技术查询外部数据库来突破提示长度限制的方法。当LLM需要额外信息时，可以从外部信息源（如向量数据库）检索相关信息，从而减少幻觉，提高回答的准确性。

为什么聊天机器人能提高大语言模型应用的使用率？

聊天机器人提供了一种简洁直观的方式，让用户通过对话界面添加上下文和精细调整查询。与普通搜索引擎不同，用户可以直接告诉模型“再试一次，但排除与X相关的答案”或“更重视Y”，从而更精准地获得所需结果。调查显示，聊天机器人的每周使用率接近40%，而非聊天机器人应用的使用率则下降。

在选择大语言模型时，除了GPT还有哪些考虑因素？

需要考虑所需的知识范围、模型大小、训练需求与预算，以及选择开源还是专有模型。例如，内部应用可能选择小型LLM（如AI21、Reka）以保障数据安全；简单任务（如翻译、总结）使用小型LLM可降低成本；开源LLM（如LLaMA）源代码和模型细节更易获取，但需自行托管。

目前开发者在使用向量技术方面的现状如何？

根据Streamlit对超过21,000个LLM应用的调查，仅有20%的生成式AI应用采用了某种形式的向量技术。这表明向量检索工具在改进上下文推荐方面虽有成效，但应用还不普遍，未来有巨大发展空间。

小型大语言模型相比大型模型有哪些优势和适用场景？

小型LLM响应时间更短，运行成本更低，因为需要更少的计算资源。它们适用于任务较简单的场景，如文本翻译或文档总结，能大幅降低成本。此外，对于内部使用，小型LLM可以在公司云安全环境内运行，避免与公共LLM分享敏感数据。

🏷️