Sketch2Code:评估视觉语言模型在互动网页设计原型制作中的应用
原文中文,约200字,阅读约需1分钟。发表于: 。本研究针对现有UI/UX自动化研究中对高保真输入的依赖问题,提出Sketch2Code基准,评估先进的视觉语言模型将简单草图转换为网页原型的能力。研究发现,现有模型在准确解读草图和提出有效问题方面存在挑战,而用户研究显示,主动提问比被动反馈更受UI/UX专家青睐,这表明需发展更有效的多轮对话代理模型。
Sketch2Prototype是一个AI框架,可以将手绘草图转化为文本,再生成图像和3D模型。研究表明,使用文本作为中间步骤比直接转换更能生成多样化且可制造的3D模型。该框架还揭示了图像到3D技术的局限性,并强调文本在用户反馈和设计迭代中的重要性。