苹果推出了Ferret-UI，一个多模态视觉语言模型，可以理解iOS移动屏幕上的图标、小部件和文本的空间关系和功能含义。该模型还可以提供屏幕截图的摘要，并预测UI元素是否可替换。苹果还开源了Ferret模型、GRIT数据集和Ferret-Bench评估基准。网友认为Ferret UI目前还不能满足日常用户需求。