量子位
·
GPT-oss太离谱：无提示自行想象编程问题，还重复求解5000次
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
GPT-oss在无提示情况下生成编程问题并反复求解5000次，表现出幻觉行为。尽管模型训练数据广泛，但在推理时常出现语言转换和异常输出，显示其在特定任务上过度优化，缺乏自然性。
🎯
关键要点
- GPT-oss在无提示情况下生成编程问题并反复求解5000次，表现出幻觉行为。
- 模型在训练数据覆盖广泛，但在推理时常出现语言转换和异常输出。
- GPT-oss热衷于数学和代码领域，生成内容缺乏自然性。
- 模型在推理过程中常常伴随语言转换，出现非自然语言表达。
- 模型输出中出现特殊伪影，可能源于OCR技术的处理错误。
- GPT-oss的幻觉率高，尤其在基准测试中表现不佳。
- 模型在日常生活琐事的对话中表现不佳，偶尔拒绝谈论。
❓
延伸问答
GPT-oss在无提示情况下生成编程问题的表现如何？
GPT-oss在无提示情况下生成编程问题并反复求解5000次，表现出明显的幻觉行为。
GPT-oss的训练数据覆盖了哪些编程语言？
GPT-oss的训练数据覆盖了几乎所有常见编程语言，其中Perl的占比尤其高。
GPT-oss在推理过程中常出现什么问题？
GPT-oss在推理过程中常常伴随语言转换，出现非自然语言表达。
GPT-oss的幻觉率有多高？
GPT-oss-120b和GPT-oss-20b在基准测试中的幻觉率分别达到了49%和53%。
GPT-oss在日常对话中的表现如何？
GPT-oss在日常生活琐事的对话中表现不佳，偶尔拒绝谈论。
GPT-oss生成的内容有什么特殊伪影？
模型输出中出现了特殊伪影，如“OCRV ROOT”，可能源于OCR技术的处理错误。
➡️
