计算词语的概率
内容提要
本文探讨了大语言模型（如LSTM和Transformer）在序列概率评估中的低估现象，尤其是在低概率序列中更为明显。研究发现，模型对不规范序列的概率高估导致了这种差距。对GPT-3.5和GPT-4的评估显示，输出概率影响模型准确性，尤其在低概率情况下表现不佳。因此，建议在使用大语言模型时需谨慎，并将其视为独特系统。
延伸解读
概率低估的根源与影响
文章指出，LSTM和Transformer语言模型会系统性地低估目标语言序列的概率，尤其对低概率序列更为严重。这种低估源于模型倾向于高估不规范序列的概率，导致概率差距。即使增加训练数据可以减轻倾向，但问题依然存在，且在目标分布熵较低时加剧。这意味着模型在评估罕见或复杂序列时可靠性下降，可能影响依赖概率输出的任务。
低概率场景下的模型失效
对GPT-3.5和GPT-4的评估显示，输出概率显著影响模型准确性。例如，GPT-4在解码高概率单词序列时准确率为51%，而低概率时降至13%。这种失效模式在确定性环境下也会出现，表明模型行为受训练任务（互联网文本的下一个词预测）带来的概率压力塑造。因此，在低概率情况下使用大语言模型需格外谨慎。
将大语言模型视为独特系统
文章主张不应将大语言模型与人类等同评估，而应将其视为一类独特系统，经过特定压力（如下一个词预测）塑造。通过目的论方法，可以预测模型在任务执行、目标输出和输入概率不同时的表现。这提示研究者和从业者需重新思考评估框架，关注模型内在的概率偏差，而非简单套用人类标准。
Q&A
大语言模型在低概率序列中的表现如何？
大语言模型在低概率序列中的表现较差，尤其是GPT-3.5和GPT-4在此情况下的准确性显著降低。
为什么大语言模型会高估不规范序列的概率？
大语言模型高估不规范序列的概率是导致其对目标语言序列概率低估的主要原因。
使用大语言模型时需要注意什么？
在使用大语言模型时，尤其是在低概率情况下，需要谨慎对待，并将其视为独特的系统，而非人类。
GPT-4在高概率和低概率情况下的准确性有何不同？
GPT-4在高概率单词序列时的准确率为51%，而在低概率情况下仅为13%。
大语言模型的评估方法存在哪些局限性？
大语言模型的评估方法存在内在局限性，通常基于输出概率而非直接生成回应，这影响了预测的有效性。
如何改善大语言模型在复杂数据上的表现？
可以通过重要性采样算法来估计边缘概率，从而改善大语言模型在复杂数据上的表现。
