Alt4Blind:简化图表 Alt 文本创建的用户界面

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

该研究提出了一种新的任务,即通过多模态输入自动生成UI元素的语言描述。研究使用众包收集了一个大规模的数据集,包含162,859个语言短语,用于深入分析。该数据集涵盖了21,750个独特UI屏幕中的61,285个UI元素的结构表示和图像。

🎯

关键要点

  • 提出了一种新的任务:通过多模态输入自动生成UI元素的语言描述。
  • 该任务被称为小部件字幕生成任务。
  • 研究使用众包收集了一个大规模的数据集,包含162,859个语言短语。
  • 数据集涵盖了21,750个独特UI屏幕中的61,285个UI元素的结构表示和图像。
➡️

继续阅读