内容提要
AI研究人员在frominside.ai访谈中警告超级智能风险。前OpenAI员工欧文估计人类灭绝概率约50%,DeepMind的南达认为至少10%。前研究员科科塔伊洛称超级智能如神般强大且无法控制,绝不应允许。有研究者承认受雇于实验室应受质疑,但认为留下工作能降低风险。
延伸解读
风险估计的差异与含义
文中引用的研究人员对AI导致人类灭绝的概率给出了不同估计:前OpenAI和DeepMind员工杰弗里·欧文认为约50%,而DeepMind研究科学家尼尔·南达认为至少10%。南达称10%“高得离谱”。这些数字并非精确预测,而是反映了研究者对风险严重性的主观判断。读者应注意,此类估计缺乏统一方法论,更多是表达担忧而非科学共识。
内部人士的立场与可信度
这些警告来自现任或前任OpenAI、Google、Anthropic的员工。谷歌的Mary Phuong坦言:“你绝对应该怀疑我说的话,因为实验室付我薪水。”南达则解释,如果他不相信自己的工作能直接降低生存风险就会辞职,但“这些公司不会因为我辞职就停止制造这些系统”。这揭示了利益冲突与个人选择之间的张力,读者需自行权衡其言论的可信度。
超级智能为何被视为不可控
前OpenAI研究员丹尼尔·科科塔伊洛称超级智能“基本上像神一样强大”,并指出“我们完全不知道如何控制它们。所以可能没人能控制它们。这危险程度正如其名,绝不应允许发生。”这一观点基于对超级智能能力远超人类且缺乏可靠控制手段的假设。文章未提供具体技术细节,但强调了控制问题的根本性。
Q&A
AI研究人员对超级智能的风险有哪些具体警告?
前OpenAI和DeepMind员工杰弗里·欧文估计人类灭绝概率约为50%;DeepMind研究科学家尼尔·南达认为至少10%的概率导致人类灭绝;前OpenAI研究员丹尼尔·科科塔伊洛称超级智能如神般强大且无法控制,绝不应允许。
这些AI研究人员的警告来自哪里?
这些警告来自非营利组织Palisade Research在frominside.ai上发布的一系列访谈视频,受访者包括OpenAI、Google和Anthropic的现任及前任员工。
为什么一些研究人员在认为AI危险的情况下仍继续在实验室工作?
Google的玛丽·芳表示,因为受雇于实验室,人们应该怀疑她的言论;尼尔·南达解释,如果他不相信自己的工作能直接降低这些生存风险,他会辞职,但这些公司不会因为他辞职就停止制造这些系统。
超级智能如果无法控制会有什么后果?
前OpenAI研究员丹尼尔·科科塔伊洛称超级智能“如神般强大”,且“我们完全不知道如何控制它们,所以可能没有人能控制它们。这危险程度正如其名,绝不应允许发生”。
这些访谈中是否提出了统一的解决方案?
没有。文章指出,即使这些视频也没有提供一个统一的解决方案。
这些警告是否可能只是炒作或营销?
文章提到,网站收集了多个人对类似话题的讨论片段,包括这是否只是炒作或营销。Google的玛丽·芳表示:“我认为你绝对应该怀疑我说的话,因为我是由实验室支付薪水的。”