该文综述大语言模型在多模态交互与代理建模中的进展：利用LLM将语言映射为领域代码、生成交通场景、构建用户模拟器与协作设计框架；语言引导世界模型提升代理通信与可解释性；多智能体系统SpeechAgents模拟人类交流；并指出LLM物理推理不足，可通过物理模拟反馈增强。