钟意博客
·
大语言模型的不确定性
💡
原文中文，约4600字，阅读约需11分钟。
📝
内容提要
在工程实践中，即使设置temperature=0和seed=0，LLM的输出仍然无法保证完全确定性，原因包括采样配置和数值误差等。目标应是控制模型行为在可接受的稳定性范围内，而非追求绝对一致性。建议通过参数调整、缓存和上层逻辑来应对不确定性，LLM更适合作为辅助决策工具。
🎯
关键要点
- 即使设置temperature=0和seed=0，LLM的输出仍然无法保证完全确定性。
- 输出不确定性的原因包括采样配置、数值误差、批量调度等多个层级。
- 工程实践中应追求模型行为在可接受的稳定性范围内，而非绝对一致性。
- temperature越高，输出分布越平，越低则趋向于贪婪解码。
- seed仅控制伪随机数生成器的序列，对数值并行和调度没有直接约束。
- 在云端API中，批次和浮点计算的差异会导致输出不一致。
- 不同框架对temperature=0的实现不统一，可能导致输出差异。
- 输入的微小变化也可能导致输出的不一致。
- 在云场景中，建议使用极低的temperature和固定的参数以减少随机性。
- 自建推理时，禁用采样并固定随机种子以提高确定性。
- 即使在理想配置下，LLM仍表现出显著的非确定性，追求严格确定性几乎不现实。
- LLM应被视为带噪声的推理器，适合辅助决策而非唯一权威。
➡️
