CogAgent是一个基于视觉语言模型的开源GUI代理，最新版本CogAgent-9B-20241220在GUI操作上取得显著进展。通过屏幕截图输入，优化了模型结构和训练策略，提升了性能，适用于多种设备。未来，GUI代理有望在智能家居等领域广泛应用。

本研究介绍了CogAgent，一个180亿参数的GUI理解和导航视觉语言模型，支持1120*1120分辨率输入，能够识别微小页面元素和文本。CogAgent在五个文本丰富和四个通用的VQA基准测试中达到最新技术水平，并在PC和Android的GUI导航任务中超过LLM方法。