关于大模型工程化，你可能想错了这三件事
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
大语言模型（LLM）在工程应用中常被误解，开发者对其能力期望过高。模型输出存在不确定性，生成的结构化数据可能出错。应将确定性计算交给代码，合理结合模型与代码的优势，以有效应用于工程实践。
🎯
关键要点
- 大语言模型（LLM）在工程应用中常被误解，开发者对其能力期望过高。
- 模型输出存在不确定性，生成的结构化数据可能出错。
- 大模型无法保证复杂数学计算的精确性，不能视为超级计算器。
- 完美的提示词无法保证完美的输出，模型输出天然具有不确定性。
- 要求返回JSON或XML格式并不能确保结构化数据的可靠性，仍可能出现错误。
- 大模型应被视为强大的工具，具有适用范围和局限性。
- 在工程实践中应相信代码的确定性，而非模型的概率性。
- 将确定性计算交给代码，避免让大模型处理精确计算。
- 使用代码处理文本操作和数据去重，确保结果的可靠性。
- 优先使用JSON Schema来规范输出，保持输出格式简单以降低出错概率。
- 大模型在工程化项目中具有潜力，但需摒弃不切实际的幻想，合理设定期望。
❓
延伸问答
大语言模型在工程应用中常见的误解有哪些？
开发者常常对大语言模型的能力期望过高，认为它能进行精确的数学计算、完美遵循提示词输出以及生成可靠的结构化数据。
为什么大语言模型不能保证复杂数学计算的精确性？
因为大语言模型是基于概率生成文本的，它不理解数学运算的逻辑，无法保证计算结果的准确性。
如何有效结合大语言模型与代码以提高工程实践的可靠性？
应将确定性计算交给代码，使用代码处理文本操作和数据去重，以确保结果的可靠性。
完美的提示词能否确保大语言模型的完美输出？
不可以，大语言模型的输出天然具有不确定性，即使是相同的提示词，输出也可能不同。
使用JSON或XML格式能否确保大语言模型生成的结构化数据可靠？
不能，尽管要求返回这些格式，但模型生成的结构化数据仍可能出现语法错误或内容不完整。
在工程项目中，如何合理设定对大语言模型的期望？
应清醒认识大语言模型的强项和弱点，合理设定期望，将不擅长的任务交给代码处理。
➡️
