本文探讨了视觉语言模型的设计，旨在通过高效模型提高推理吞吐量，以应对数字助理在移动设备控制中的挑战。研究利用视觉输入和人类交互模拟，增强了人工智能代理的能力，并在多个基准测试中验证了其有效性。此外，提出了结合视觉能力的对话管理器，展望未来对话代理的应用。

本文介绍了一种名为Voila-A的视觉-语言模型（VLMs），通过目光对齐提升模型的可解释性和效果。研究还提出了基于注视的视觉问答数据集GazeVQA，并利用注视目标估计提高任务准确性。此外，论文探讨了结合大型语言模型的对话管理器，增强了对话代理的视觉能力，展望了更丰富的用户交互体验。