大型语言模型代理评估研究综述显示，多轮互动、协商游戏和多主体基准测试表明商业与开源模型存在性能差距，GPT-4与Llama-2-70B差距达三倍，概率图模型平均提升50%。ChatEval通过多代理裁判模拟人类评估，Dynaboard提供评估即服务，MLAgentBench评估研究代理，AgentSims和AvalonBench测试社交推理，TrainerAgent系统优化模型开发部署。

本文综述大型语言模型代理的社会科学潜力，主张关注代理本身而非仅以人为中心的对齐。研究涵盖：在对话代理中贯彻人类价值观与对话规范；模型展现类人社交行为及差异，需完善评估协议；梳理歧视、错误信息、自动化等风险；通过语义上下文学习、两阶段生成与知识库结合提升共情回应；赋予代理处理多方社交干扰的能力；用模型仿真研究新闻推送算法对在线对话质量的影响；让模型从模拟社交互动中学习社会规范；以及建模个体以增强真假信息区分能力。

文章探讨大型语言模型代理的社交互动与对齐研究，提出让模型从模拟社交互动中学习的新训练范式，以更符合社会规范和价值观。研究构建协作生成代理，在模拟招聘会中考察其协调能力，发现表现有潜力但在复杂协调任务中仍受限，并讨论多目标进化、评估协议、代理的社会科学潜力及RLHF的局限与政策挑战。