本文探讨了计算机使用代理的用户体验设计。研究分为两个阶段：第一阶段通过文献回顾和访谈建立了用户体验考虑的分类法，包括用户提示、可解释性和用户控制等；第二阶段通过模拟研究验证了分类法，并深入了解设计与用户需求之间的联系。这些发现为开发者提供了设计框架。

我们训练了一个神经网络，通过视频预训练（VPT）在大量未标记的Minecraft游戏视频数据集上学习，并使用少量标记数据进行微调。该模型能够学习制作钻石工具，通常需要熟练人类超过20分钟。它使用人类的键盘和鼠标操作接口，代表了通用计算机代理的进步。