为何机器不可能具备道德：图灵停机问题与人工智能的道德 限制
内容提要
本文探讨了道德机器的构建，分析了后果主义、义务论和德性伦理学等道德理论的复杂性，提出了道德可处理性理论（MTT）。研究讨论了人工智能在道德决策中的作用及潜在风险，指出AI在某些方面的道德推理优于人类，强调对生成语言模型的道德指导保护的必要性。
延伸解读
道德机器的理论困境
文章指出，构建道德机器需面对后果主义、义务论和德性伦理学等理论的复杂性，这些理论在具体情境中可能产生冲突。作者提出的道德可处理性理论（MTT）试图界定哪些道德问题可被计算系统处理，但伦理机器学习中直接使用道德困境作为验证机制被批评为哲学思想实验的误用。这提示读者，道德机器的可行性不仅取决于技术，更受限于伦理理论本身的可计算性。
AI道德评价的意外优势
一项改进型道德图灵测试（m-MTT）发现，参与者在对来源不知情时，对GPT-4生成的道德评价在美德、智力和可靠性等维度上的评分高于人类评价。然而，当要求区分评价来源时，人们仍能高于偶然水平地识别。这表明AI的道德推理质量可能被高估，但人们仍保留一定的辨别能力。这种“质优却可辨”的现象，为AI道德指导的接受度与风险提供了实证参考。
生成语言模型的道德风险
由于AI能生成被认为优于人类的道德回应，文章警告人们可能不加批判地接受其道德指导，从而带来潜在危害。这突显了对生成语言模型进行道德保护的必要性，例如通过透明度、问责机制和民主价值观来约束自动化伦理判断。读者应意识到，AI道德评价的“高质量”表象可能掩盖其内在缺陷，需保持审慎。
人类增强AI的激励差异
文章强调，人类智能与人类增强的人工智能存在不同的激励。当前技术人员、商业和政策制定者过度倾向于自动化，可能导致人类失去经济权利和政治议价权。相反，研究开发人类增强的AI有助于人类保持营造价值的能力。这一视角提醒读者，AI道德决策的发展方向不仅关乎技术，更涉及权力与价值的分配。
Q&A
道德机器的构建面临哪些伦理理论的挑战？
道德机器的构建面临后果主义、义务论和德性伦理学等伦理理论的复杂性挑战。
什么是道德可处理性理论（MTT）？
道德可处理性理论（MTT）是一个提出的理论，旨在探讨如何在伦理机器学习中处理道德困境。
人工智能在道德决策中有哪些优势？
研究表明，人工智能在某些方面的道德推理能力优于人类，能够生成更高质量的道德评价。
为什么需要对生成语言模型进行道德指导保护？
因为生成语言模型可能提供被认为优于人类的道德指导，这可能导致人们不加批判地接受有害的道德建议。
人类智能与人类增强的人工智能有什么不同？
人类智能与人类增强的人工智能在激励机制上存在差异，后者可能导致经济权利和政治议价权的丧失。
如何利用道德理论指导大型语言模型进行道德推理？
可以通过建立一个灵活的框架，结合跨学科的道德理论，来指导大型语言模型进行道德推理。
