本文探讨了大语言模型（LLM）中令牌选择的统计过程，包括logits、温度和top-p采样。logits是模型输出的原始分数，温度用于调整概率分布的平滑程度，top-p则限制候选令牌的范围。通过这些参数的组合，模型在生成输出时能够平衡确定性与创造性。开发者需根据不同应用场景选择合适的温度和top-p值，以实现最佳效果。

本文探讨了大型语言模型（LLMs）在相同提示下生成多样化和创造性输出的机制，分析了采样策略及温度、top-k、top-p等参数对输出一致性和创造性的影响。通过实例，读者将掌握如何调整LLM的输出特性。

现代语言模型在标记预测中存在缺陷，庞大的softmax层导致架构臃肿且易出错。引入三元编码（tribits）可以提升模型的表达能力和容错性，克服传统token化的局限，增强模型的鲁棒性和可解释性，标志着后softmax时代的到来。

本文记录了对vllm 0.6.2源码的学习，重点介绍了vllm采样模块的数据结构与实现。采样过程根据模型输出的logits选择下一个token，涉及prefill和decode阶段的序列组。详细分析了SamplingMetadata的构建及其在采样中的应用，强调了prompt_logprobs功能的作用。