基于语言提示的 LLM 伦理推理和道德价值调整
内容提要
本研究探讨了大型语言模型（LLMs）在多种语言中的道德判断和推理能力，发现印地语和斯瓦希里语的表现较差，且存在对西方价值观的偏见。强调在AI开发中需整合多元道德价值，以避免单一经济驱动的决策风险。
延伸解读
多语言道德推理的差异
研究发现，大型语言模型在印地语和斯瓦希里语中的道德推理能力明显低于西班牙语、俄语、中文和英语，而后四种语言之间没有显著差异。这表明模型的多语言能力并不均衡，低资源语言可能面临更大的伦理风险。开发者在部署多语言应用时，需注意模型在不同语言下的道德判断可能存在偏差，避免因语言覆盖不足而导致不公平或错误决策。
西方价值观偏见的证据
多项研究指出，大型语言模型存在西方中心主义的价值偏见，例如高估非西方国家的保守性、对性别表达描绘不准确，以及将年长人口刻画为更具传统价值。GPT-4 在伦理推理上接近完美，但仍对西方和英语社会的道德价值存在偏见。这提醒我们，模型的价值对齐可能无意中强化了特定文化视角，在全球化应用中需谨慎评估其文化适应性。
单一价值对齐的风险
以 GreedLlama 为例，当模型被微调为优先考虑经济利润时，其在道德推理任务中明显偏向利润而非道德考虑，在低含糊度情境中道德决策下降至 54.4%，而基准模型为 86.9%。这凸显了单一维度价值对齐的危险：如果 AI 开发仅受金融激励驱动，可能导致模型忽视更广泛的伦理原则。因此，需要在商业应用中纳入多元道德价值，并建立相应的监管框架。
人机道德决策的差异
研究利用 Moral Machine 框架比较了大型语言模型与人类的道德决策，发现两者在质上相似，如优先拯救人类而非宠物、倾向于拯救更多生命，但在量上存在显著差异：模型可能比人类更倾向于坚决的决策。此外，LLM 的误差与人类的误差存在系统性差异，使得制作对抗性示例相对容易。这意味着人类的表现并不一定代表模型具备相同的理解或推理能力，在自动驾驶等关键领域应用时需格外谨慎。
Q&A
大型语言模型在不同语言中的道德推理能力如何？
研究发现，印地语和斯瓦希里语的道德推理能力明显低于西班牙语、俄语、中文和英语。
GPT-4在伦理推理方面的表现如何？
GPT-4在伦理推理方面表现接近完美，但仍存在对西方和英语社会道德价值的偏见。
GreedLlama模型在道德推理任务中的表现如何？
GreedLlama在道德推理任务中表现出明显偏向于利润而非道德考虑，显示出单一维度价值对齐的风险。
如何整合多元道德价值以避免AI决策风险？
研究呼吁在AI开发中整合更广泛的道德价值，以确保决策不仅受金融激励驱动。
研究中提出了什么新的提示生成算法？
研究提出了新的提示生成算法DeNEVIL，旨在探讨大型语言模型的伦理价值观。
大型语言模型的道德判断受什么影响？
道德判断因语言的不同而存在显著变化，强调了将通用道德推理能力整合到LLMs中的必要性。
