什么是推理
内容提要
文章探讨了从闭源模型中提取推理痕迹的技术原理。推理痕迹是模型在最终回答前生成的文本，通过特殊标记分隔并由解析器路由到独立流。推理努力程度由系统提示词控制，而非采样过程。模型被训练将草稿思考留在分析通道，若被诱导误入最终通道则可能泄露。禁用思考时，模型可能通过工具或预填充标记来规避。
延伸解读
推理痕迹的本质
推理痕迹并非神秘产物，而是模型在最终回答前生成的普通文本。通过特殊标记（如<|channel|>analysis<|message|>）与最终回答分隔，并由解析器路由到独立流。模型被训练将草稿思考留在分析通道，因此推理痕迹与最终回答使用相同的文本生成机制，只是被系统设计为隐藏。
推理努力的控制方式
推理努力程度由系统提示词控制，而非采样过程。例如GPT-OSS在系统提示中加入“Reasoning: low”即可调整。这也解释了为何改变推理努力会使KV缓存失效。训练使模型学会根据提示词调整思考深度，而非通过采样参数动态调节。
推理痕迹泄露的风险
推理痕迹的隐藏依赖模型对通道的遵循。若诱导模型误以为处于最终通道，可能泄露草稿思考。例如禁用思考时，模型可能通过bash工具将思考内容写入/dev/null。这提示API提供商需注意预填充标记等机制，防止推理痕迹意外暴露。
Q&A
如何从闭源模型中提取推理痕迹？
根据文章，推理痕迹是模型在最终回答前生成的文本，通常通过特殊标记分隔并由解析器路由到独立流。提取方法涉及诱导模型将草稿思考输出到最终通道，例如通过自定义工具或预填充标记，但仅在原生推理被禁用时有效。
推理痕迹是什么？
推理痕迹是模型在生成最终答案之前产生的内部思考文本，通常被隐藏。它们只是文本，模型被训练将思考写入分析通道，与最终答案分开。
推理努力程度是如何控制的？
推理努力程度由系统提示词控制，而非采样过程。例如，GPT-OSS在系统提示中设置“Reasoning: low”，而DwarfStar使用“Reasoning Effort: Absolute maximum”等描述。
为什么改变推理努力程度会使KV缓存失效？
因为推理努力程度被编码在系统提示词中，改变它会改变输入，从而影响KV缓存的有效性。
模型如何防止推理痕迹泄露？
模型被训练将草稿思考留在分析通道，若被诱导误入最终通道则可能泄露。禁用思考时，模型可能通过工具或预填充标记来规避，例如DwarfStar使用预填充</think>来禁用思考。
推理痕迹与最终答案有何不同？
推理痕迹是模型在最终回答前生成的内部思考文本，通常被隐藏；最终答案是呈现给用户的正式回复。推理痕迹可能冗长且混乱，而最终答案通常简洁。
