钟意博客
·
大语言模型的不确定性
💡
原文中文，约4600字，阅读约需11分钟。
📝
内容提要
在工程实践中，即使设置temperature=0和seed=0，LLM的输出仍然无法保证完全确定性，原因包括采样配置和数值误差等。目标应是控制模型行为在可接受的稳定性范围内，而非追求绝对一致性。建议通过参数调整、缓存和上层逻辑来应对不确定性，LLM更适合作为辅助决策工具。
🎯
关键要点
- 即使设置temperature=0和seed=0，LLM的输出仍然无法保证完全确定性。
- 输出不确定性的原因包括采样配置、数值误差、批量调度等多个层级。
- 工程实践中应追求模型行为在可接受的稳定性范围内，而非绝对一致性。
- temperature越高，输出分布越平，越低则趋向于贪婪解码。
- seed仅控制伪随机数生成器的序列，对数值并行和调度没有直接约束。
- 在云端API中，批次和浮点计算的差异会导致输出不一致。
- 不同框架对temperature=0的实现不统一，可能导致输出差异。
- 输入的微小变化也可能导致输出的不一致。
- 在云场景中，建议使用极低的temperature和固定的参数以减少随机性。
- 自建推理时，禁用采样并固定随机种子以提高确定性。
- 即使在理想配置下，LLM仍表现出显著的非确定性，追求严格确定性几乎不现实。
- LLM应被视为带噪声的推理器，适合辅助决策而非唯一权威。
❓
延伸问答
为什么即使设置temperature=0和seed=0，LLM的输出仍然不确定？
LLM的输出不确定性源于采样配置、数值误差、批量调度等多个层级因素。
在工程实践中，如何应对LLM的不确定性？
应通过参数调整、缓存和上层逻辑来控制模型行为在可接受的稳定性范围内。
temperature的设置对LLM输出有什么影响？
temperature越高，输出分布越平，越低则趋向于贪婪解码，理论上temperature=0会极端放大最大logit。
在云端API中，导致输出不一致的原因是什么？
输出不一致可能由于批次和浮点计算的差异，导致浮点加法顺序变化和不同的并行策略。
如何提高LLM的输出确定性？
可以通过禁用采样、固定随机种子和开启框架的确定性模式来提高输出的确定性。
LLM在决策支持中适合什么样的应用场景？
LLM更适合作为辅助决策工具，而非唯一权威，适合处理带噪声的推理任务。
➡️
