UI-TARS：利用长期记忆和反思调整不断优化

字节跳动发布的UI-TARS是基于Qwen2-VL微调的自动化GUI交互智能体。

UI-TARS经过三阶段训练，支持中英文图片和指令。

模型训练数据量大，涵盖多种感知任务，提升了推理能力和动态适应性。

模型已开源，但数据和训练代码未公开。

感知能力训练加入了新的任务，如Dense Captioning和State Transition Captioning。

训练数据规模是大部分工作的10倍以上，效果显著。

采用Online Trace Bootstrapping和Reflection Tuning方法进行模型优化。

推理数据构造包含GUI教程和思维增强，提升了模型的推理能力。

使用直接偏好优化（DPO）来优化模型决策，强化最优动作。

实验结果显示UI-TARS在多个方向上表现出色，尤其在域外评估中系统2推理展现出优势。