本研究提出了一种灵活的框架，用于系统化评估基于大型语言模型的任务导向对话系统。该框架比较不同用户模拟器与对话系统的组合，分析架构、规模和提示策略对对话性能的影响，为构建高效的会话人工智能系统提供指导。

本研究提出了一种基于LLM的用户模拟器，旨在解决用户偏好建模不透明和模拟准确性不足的问题。该模拟器通过明确用户偏好逻辑和统计模型，提升了推荐系统的训练效率和效果，实验结果显示其能够生成高保真的训练数据。

通过真实人机对话提取问题，训练出用户模拟器UserGPT和合成对话数据集RealChat。实验结果显示模型在Vicuna-Bench和MT-Bench中优于基线模型，手动评估也表明具有竞争力。通过与LLaMA 2模型微调，ReaLM在MT-Bench中领先。方法展示了可扩展性和可迁移性，并初步探索了训练集数据质量与模型性能之间的相互作用。

通过训练用户模拟器UserGPT和生成对话数据集RealChat，实验结果显示模型在Vicuna-Bench和MT-Bench中表现优于基线模型，并通过与LLaMA 2模型微调在MT-Bench中获得6.33的领先分数。方法还展示了可扩展性和可迁移性，并初步探索了训练集数据质量与模型性能之间的相互作用。

通过训练用户模拟器 UserGPT 和生成合成对话数据集 RealChat，实验结果显示该模型在 Vicuna-Bench 和 MT-Bench 中表现优于基线模型，手动评估结果也很竞争。通过与 LLaMA 2 模型微调，ReaLM 在 MT-Bench 中取得领先分数，展示了可扩展性和可迁移性。初步探索了训练集数据质量与模型性能之间的相互作用。

本文介绍了利用大型语言模型进行对话推荐的研究，并提出了一种基于LLM的用户模拟器的交互式评估方法iEvaLM，改善了现有的评估协议。实验结果显示ChatGPT在两个公共数据集上表现出较大的优势，并强调解释性的评估。此研究有助于更深入地理解LLMs在CRSs中的潜力，并为未来的研究提供一个更灵活、易于使用的评估框架。