本文探讨了大语言模型（LLM）中令牌选择的统计过程，包括logits、温度和top-p采样。logits是模型输出的原始分数，温度用于调整概率分布的平滑程度，top-p则限制候选令牌的范围。通过这些参数的组合，模型在生成输出时能够平衡确定性与创造性。开发者需根据不同应用场景选择合适的温度和top-p值，以实现最佳效果。
本文探讨了大型语言模型（LLMs）在相同提示下生成多样化和创造性输出的机制，分析了采样策略及温度、top-k、top-p等参数对输出一致性和创造性的影响。通过实例，读者将掌握如何调整LLM的输出特性。
现代语言模型在标记预测中存在缺陷，庞大的softmax层导致架构臃肿且易出错。引入三元编码（tribits）可以提升模型的表达能力和容错性，克服传统token化的局限，增强模型的鲁棒性和可解释性，标志着后softmax时代的到来。
本研究提出了一种新框架，用于评估生成语言模型在任务级输出选择中的解码效率。研究发现，解码无关的候选选择方法在多样化任务中表现优异，为未来模型设计提供了重要见解，尤其是在大规模候选池的应用潜力方面。
本文记录了对vllm 0.6.2源码的学习，重点介绍了vllm采样模块的数据结构与实现。采样过程根据模型输出的logits选择下一个token，涉及prefill和decode阶段的序列组。详细分析了SamplingMetadata的构建及其在采样中的应用，强调了prompt_logprobs功能的作用。
本研究探讨了知识蒸馏的不同层次及其应用，提出了PTLoss和R2KD等改进方法，显著提升了模型性能。通过动态调整教师模型的输出，RLD方法有效消除了误导信息，保留了重要的类别相关性。实验结果表明，在CIFAR-100和ImageNet数据集上优于现有技术。
本文探讨深度学习中的对抗样本问题，提出多种提高模型鲁棒性的方法，包括对抗分布式训练（ADT）、Probabilistically Compact损失函数和对抗特征对齐（AFA）。研究表明，过度自信的模型更易受攻击，通过改进训练方法可提升模型在对抗攻击下的性能。
该论文研究了通过隐式语义增强提高模型泛化性能的方法，并在三个基准测试数据集上实现了最先进的性能水平。该方法使用距离度量学习和交叉熵损失的 logits 作为输入特征。
完成下面两步后，将自动完成登录并继续当前操作。
