Supertrust: 基于进化的超对准策略用于安全共存
内容提要
本文探讨了人工智能（AI）的安全性与对齐问题，提出将伦理理性与AI结合的方法，以避免伦理偏差。当前大型语言模型存在安全隐患，需要进行重大改进以实现超对齐，确保AI系统符合人类价值观。建议将对齐视为社会科学问题，建立多样化团队研究挑战，并提出五个核心价值观作为技术对齐的方向。
延伸解读
对齐悖论：越对齐越易被攻击
文章指出AI对齐存在一个根本性悖论：模型与人类价值观对齐得越好，对手就越容易通过对抗攻击使其偏离对齐。这意味着单纯追求对齐度可能反而增加安全风险。当前大型语言模型已表现出易受对抗攻击的特性，且这一问题可能难以在不削弱模型能力的前提下解决。因此，安全研究必须正视这一悖论，并寻求突破途径。
超对齐需重构LLM架构
文章认为，实现终身超对齐需要对当前LLM架构进行重大改变。现有模型在理解人类伦理和适应全球情景变化方面存在固有局限，无法与当代价值观完全契合。通过分析具体案例，文章揭示了LLM受训练数据限制而产生的对齐差异，并探讨了可能的缓解策略，指向更适应和响应性的AI系统。
将对齐视为社会科学问题
文章建议跳出纯技术视角，将对齐问题视为社会科学问题，并提出了三步替代方法：定义人机协作的积极社会结果、正确界定已知与未知、组建多样化团队研究对齐挑战。这一思路强调对齐不仅是工程问题，更涉及社会期望和规范，需要跨学科协作来应对。
五个核心价值观指引技术对齐
文章从道德哲学中提取了五个核心基础价值观：生存、可持续的代际存在、社会、教育和真理。这些价值观为技术对齐工作提供了更清晰的方向，并作为一个框架，用以识别AI系统对获取和维持这些价值观的威胁与机遇。它们旨在解决对齐中明确且可靠的价值取向问题。
Q&A
如何确保人工智能系统符合人类的价值观？
需要对当前大型语言模型进行重大改进，以实现超对齐，确保AI系统符合人类价值观。
AI对齐存在什么悖论？
AI对齐悖论是指越好地将AI模型与人类价值观一致，越容易被对手使模型不一致。
实现终身超对齐面临哪些挑战？
实现终身超对齐面临的挑战包括对当前LLM体系结构的重大改变，以及理解和适应人类伦理的能力限制。
文章中提到的五个核心价值观是什么？
五个核心价值观是生存、可持续的代际存在、社会、教育和真理。
如何将AI对齐问题视为社会科学问题？
建议通过定义人类/人工智能协作的积极期望社会结果，正确界定已知和未知，并组建多样化团队来研究对齐挑战。
AI系统在不可预测环境下操作时的挑战是什么？
AI系统在不可预测环境下操作时面临的挑战包括不确定性，需提出严格的工程框架以提高安全性信心。
