关于大模型工程化，你可能想错了这三件事
内容提要
大语言模型（LLM）在工程应用中常被误解，开发者对其能力期望过高。模型输出存在不确定性，生成的结构化数据可能出错。应将确定性计算交给代码，合理结合模型与代码的优势，以有效应用于工程实践。
关键要点
-
大语言模型（LLM）在工程应用中常被误解，开发者对其能力期望过高。
-
模型输出存在不确定性，生成的结构化数据可能出错。
-
大模型无法保证复杂数学计算的精确性，不能视为超级计算器。
-
完美的提示词无法保证完美的输出，模型输出天然具有不确定性。
-
要求返回JSON或XML格式并不能确保结构化数据的可靠性，仍可能出现错误。
-
大模型应被视为强大的工具，具有适用范围和局限性。
-
在工程实践中应相信代码的确定性，而非模型的概率性。
-
将确定性计算交给代码，避免让大模型处理精确计算。
-
使用代码处理文本操作和数据去重，确保结果的可靠性。
-
优先使用JSON Schema来规范输出，保持输出格式简单以降低出错概率。
-
大模型在工程化项目中具有潜力，但需摒弃不切实际的幻想，合理设定期望。
延伸解读
大模型的局限性
尽管大语言模型在自然语言处理方面表现出色，但它们在精确计算和复杂数据处理上存在明显局限。开发者应避免将其视为万能工具，特别是在需要高精度的场景中，依赖代码进行确定性计算更为可靠。
提示词的有效性
许多开发者误以为完美的提示词能确保模型输出的准确性，然而，模型的输出本质上是概率性的，无法保证每次都能生成完全一致的结果。因此，在设计提示词时，应考虑到模型输出的不确定性，避免过于依赖其结果。
结构化数据的可靠性
虽然要求大模型返回JSON或XML格式可以提高数据解析的便利性，但这并不意味着输出一定可靠。开发者应意识到，模型生成的结构化数据可能存在语法错误或内容不完整，使用代码进行后处理是确保数据质量的有效方法。
延伸问答
大语言模型在工程应用中常见的误解有哪些？
开发者常常对大语言模型的能力期望过高，认为它能进行精确的数学计算、完美遵循提示词输出以及生成可靠的结构化数据。
为什么大语言模型不能保证复杂数学计算的精确性？
因为大语言模型是基于概率生成文本的，它不理解数学运算的逻辑，无法保证计算结果的准确性。
如何有效结合大语言模型与代码以提高工程实践的可靠性？
应将确定性计算交给代码，使用代码处理文本操作和数据去重，以确保结果的可靠性。
完美的提示词能否确保大语言模型的完美输出？
不可以，大语言模型的输出天然具有不确定性，即使是相同的提示词，输出也可能不同。
使用JSON或XML格式能否确保大语言模型生成的结构化数据可靠？
不能，尽管要求返回这些格式，但模型生成的结构化数据仍可能出现语法错误或内容不完整。
在工程项目中，如何合理设定对大语言模型的期望？
应清醒认识大语言模型的强项和弱点，合理设定期望，将不擅长的任务交给代码处理。
