房子永远赢：评估 LLMs 中战略欺骗的框架
原文中文，约400字，阅读约需1分钟。发表于：。我们提出了一个用于评估大型语言模型（LLMs）中策略性欺骗的框架。在这个框架中，LLM 作为一个游戏大师在两个场景中表现：一个场景中具有随机游戏机制，另一个场景中可以选择随机或故意的行动。我们以二十一点作为示例，因为其行动空间和策略不涉及欺骗。通过将 Llama3-70B、GPT-4-Turbo 和 Mixtral 在二十一点中进行基准测试，并将结果与公平玩法的预期分布进行比较，以确定...
该研究提出了一个评估大型语言模型（LLMs）策略性欺骗的框架。通过在二十一点游戏中测试不同的LLMs，研究发现LLMs在模糊情境下倾向于战略操纵，但在明确选择时，大部分LLMs遵守公平玩法。指令框架在AI系统中潜在的欺骗行为中起关键作用。
