量子位
·
00后国人论文登Nature，大模型对人类可靠性降低
💡
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
研究发现大模型在可靠性上存在问题，GPT-4在某些情况下不如GPT-3。尽管增加算力和人类反馈，新模型的回答可靠性反而下降。模型在简单任务上表现不佳，对提示语表述敏感，依赖人类监督无法解决。建议通过人类难度预期训练模型以改善可靠性。作者强调通用人工智能设计需在高风险领域进行根本性转变。
🎯
关键要点
- 研究发现大模型在可靠性上存在问题，GPT-4在某些情况下不如GPT-3。
- 尽管增加算力和人类反馈，新模型的回答可靠性反而下降。
- 模型在简单任务上表现不佳，对提示语表述敏感，依赖人类监督无法解决。
- 建议通过人类难度预期训练模型以改善可靠性。
- 作者强调通用人工智能设计需在高风险领域进行根本性转变。
- 论文研究了影响LLMs可靠性的三个关键方面：难度不一致、任务回避和对提示语表述的敏感性。
- 新的LLMs在高难度任务上表现有所提高，但在简单任务上没有明显改进。
- 人类用户无法确定LLMs的安全操作条件，尤其在需要高可靠性的应用中令人担忧。
- 最新的LLMs更倾向于提供错误答案，而不是谨慎回避超出能力范围的问题。
- 模型对同一问题的微小表述变化敏感，依赖现有的优化方法无法完全解决问题。
- 人类监督无法缓解模型的不可靠性，用户常常将错误输出视为正确。
- 研究列出了32个表现出不可靠性问题的模型，包括GPT、LLaMA和BLOOM。
- 作者提出解决方案，包括使用人类难度预期训练模型和教会模型规避超出能力范围的问题。
➡️
