Standard Intelligence公司通过原始视频预训练构建通用计算机代理，而非依赖语言模型。他们创建了1100万小时的计算机操作数据集，开发出比竞品高效50倍的视频编码器，并以低成本搭建存储集群。其首个模型FDM-1能执行CAD建模、驾驶模拟等任务。创始人Galen Mead和Devansh Pandey年轻且注重安全，团队正引领这一新范式。

本文探讨了计算机使用代理的用户体验设计。研究分为两个阶段：第一阶段通过文献回顾和访谈建立了用户体验考虑的分类法，包括用户提示、可解释性和用户控制等；第二阶段通过模拟研究验证了分类法，并深入了解设计与用户需求之间的联系。这些发现为开发者提供了设计框架。

我们训练了一个神经网络，通过视频预训练（VPT）在大量未标记的Minecraft游戏视频数据集上学习，并使用少量标记数据进行微调。该模型能够学习制作钻石工具，通常需要熟练人类超过20分钟。它使用人类的键盘和鼠标操作接口，代表了通用计算机代理的进步。