LLM与传统计算机技术的区别
内容提要
传统计算机处理确定性问题，LLM则应对不确定问题，但可能出错。相比SFT，DPO、GRPO等基于RL的方法利用特定logits提升LLM解决不确定问题的质量。关键是从真实世界数据及LLM生成的数学、编程数据中挖掘logits。数学答案易验证，编程可通过测试用例自动验证，因此RL方法在这两领域效果显著。
延伸解读
确定性计算与概率生成的本质差异
传统计算机技术建立在确定性逻辑之上，程序对给定输入必然产生唯一输出，这种确定性被视为一种优势。而LLM处理的是不确定性问题，其输出具有概率性，因此可能出错。理解这一根本区别，有助于读者合理预期LLM的能力边界，避免将其用于需要绝对可靠结果的场景。
RL方法为何在数学与编程领域更有效
基于强化学习的方法如DPO、GRPO，利用特定logits来提升LLM解决不确定问题的质量。数学答案易于验证对错，编程则可通过测试用例自动验证，这两个领域能高效产生可靠的奖励信号。因此，RL方法在数学和编程任务上效果显著，这为训练策略的选择提供了依据。
挖掘logits的两个数据来源
要提升LLM在不确定问题上的表现，需要尽可能挖掘特定logits。一方面来自真实世界数据，这些数据已在预训练阶段被使用；另一方面可以针对LLM生成的数据构造合适的logits，例如数学和编程领域的数据。这种双来源思路为后续训练数据的构建指明了方向。
Q&A
LLM和传统计算机技术最根本的区别是什么？
传统计算机技术处理的是确定性问题，所有事情都是确定的；而LLM则用于解决其他不确定性问题，但有时可能无法正确解决。
为什么基于强化学习的方法在数学和编程领域效果显著？
因为数学答案容易验证，编程可以通过创建足够的测试用例并设置自动化测试流程来验证，这使得强化学习方法在这两个领域能够有效利用logits提升LLM解决不确定问题的质量。
DPO和GRPO这类方法相比SFT有什么不同？
DPO、GRPO等基于强化学习的方法希望人类利用特定的logits来提升LLM解决所有不确定问题的质量，而SFT则不同，这是训练LLM的强化学习方向。
如何挖掘用于提升LLM的logits？
一方面可以利用真实世界中的所有数据，这些数据已在预训练阶段使用；另一方面可以创建适合LLM生成的所有数据的logits，比如数学和编程中的logits。
LLM能解决所有问题吗？
不能，LLM可以解决传统计算机技术无法解决的不确定性问题，但有时可能无法正确解决。
为什么数学和编程适合用强化学习来训练LLM？
因为数学中验证一个特定答案是否正确相对容易，编程中可以通过创建足够的测试用例并设置自动化测试流程来验证，这使得强化学习能够有效利用logits。
