研究表明，LSTM和Transformer语言模型在低概率序列的概率估计上存在不足。通过优化模型大小和训练数据，发现较小模型在位置指示上表现更佳。大语言模型的准确性受任务概率影响，低概率情况下需谨慎使用。论文探讨了提高大型语言模型效率的算法进展，并提出结合信号处理与LLM的新方法，以提升性能和收敛速度。

本文探讨了大语言模型（如LSTM和Transformer）在序列概率评估中的低估现象，尤其是在低概率序列中更为明显。研究发现，模型对不规范序列的概率高估导致了这种差距。对GPT-3.5和GPT-4的评估显示，输出概率影响模型准确性，尤其在低概率情况下表现不佳。因此，建议在使用大语言模型时需谨慎，并将其视为独特系统。