Unicorn通过仅使用文本数据训练视觉语言模型(VLMs),消除了图像生成的需求,性能达到基于图像方法的90%,计算成本降低37倍,证明VLMs能够从纯文本中学习视觉概念。
本研究探讨深度视觉模型的可解释性,提出了解释链(CoE)方法,通过自动解码视觉概念,创建全球概念解释数据集,并设计多义性解开与过滤机制。实验结果表明,CoE在解释性得分上平均提高了36%。
本研究探讨深度神经网络在决策过程中的相似性与差异性,提出了一种可解释的表示相似性方法(RSVC),以识别模型间共享和独特的视觉概念。研究结果表明,模型的差异源于某些独有概念未被另一模型有效表示,验证了该方法的有效性。
人工智能正在革新平面设计,提升设计质量。AI自动化重复任务,生成视觉概念,优化色彩和排版,加速原型设计,简化市场材料创建。设计师应结合人类直觉,合理利用AI以推动创意发展。
本研究提出了一种构建与视觉概念对齐的头相关向量(HRVs)的方法,以解决文本到图像生成模型中跨注意力层理解不足的问题,从而提高图像生成的准确性和可控性。
本研究探讨了图像复杂度的量化及其对视觉概念的影响,分析了多种测量方法的相关性,并提出了一种基于层次聚类的新方法。研究表明,感知过程与刺激特性密切相关,并提出了利用感知刻度估计图像相似度的新概念。
该研究探讨了文化和语言的独特性,尤其是情感在社交媒体中的表现。提出了多语言视觉情感概念本体(MVSO)及其应用方法,并创建了一个包含超过15.6K情感偏执视觉概念的数据集。同时,研究开发了基于LEIA模型的情绪文本识别方法,展示了情感分析模型在多语言环境中的有效性和优越性。
研究人员发现,经过纯文本训练的大型语言模型(LLM)能够生成复杂的视觉概念并进行自我修正。通过编写图像渲染代码,LLM展示了对视觉世界的理解,能够绘制多样的图像。MIT的研究团队利用这些生成的插图训练计算机视觉系统,成功识别真实照片内容。这表明LLM的视觉知识可以通过文本与视觉之间的代码桥梁进行表达。
本文提出了一种基于大规模视觉-语言模型的个性化视频搜索方法,通过元学习结合共享和全局特征,提升了视频检索性能。研究表明,模型能够从少量示例中有效学习个性化视觉概念,表现优于现有技术。
本文研究视觉概念的复杂度变化,发现高可代表性属性描述视觉概念时,描述长度呈倒U型。使用卷积神经网络进行图像显著性建模,并结合手工特征以提高性能。提出的计算模型揭示了现有视觉识别模型的缺陷,强调自上而下处理的重要性,并探讨了人类与计算机视觉模型在视觉任务中的差异,提出基于概念相似性的图像相似度度量方法。
大型文本到图像模型的能力引起了变革,但对于特定视觉概念,原始模型无法捕捉。本文提出了一种新的数据集生成策略,解决文本连贯性和身份保留问题,提高图像质量并生成多样样本。实验证明该方法在质量、保留、多样性和对齐方面取得了平衡。
本文介绍了一种元学习算法,通过学习新的视觉概念而无需微调,模拟了大型语言模型的能力。该方法利用预训练特征提取器,并将元学习重新构造为对已知标签和未知标签的数据点进行序列建模。在8个元学习基准中,超过或与最先进算法相匹配,无需元训练或微调。
该文介绍了一种元学习算法,无需微调即可学习新的视觉概念,模拟了大型语言模型的能力。该方法在11个元学习基准中的8个中超过或与最先进算法相匹配,无需元训练或微调。
本文介绍了 VeCLIP,一种用于 web 数据集训练的新方法,通过整合视觉概念和标题,改善数据质量和多样性,提高了图片-文本对齐和整体模型性能。
研究发现CLIP中的神经元对同一概念的反应在字面、符号和概念层面上保持一致,这解释了其在视觉概念分类中的高准确性,并有助于理解其学习过程中的关联和偏见。
CLIP是一种神经网络,通过自然语言监督高效学习视觉概念,能够在任何视觉分类基准上应用,只需提供视觉类别名称,具备类似于GPT-2和GPT-3的“零样本”能力。
完成下面两步后,将自动完成登录并继续当前操作。