该研究评估了大型视觉语言模型(LVLMs)区分人工生成与人类生成图像的能力,发现LVLMs存在偏差且表现不如人类。研究引入了新的自动化基准构建方法,探讨了模型的偏见和稳健性,并提出了改进策略以减少偏见并提高性能。此外,开发了FAITHSCORE指标,用于评估生成内容的忠实度,强调了LVLMs在生成准确插图方面的不足。
该研究介绍了多个多模态评估基准,如MMT-Bench和MLLM-Bench,旨在评估大规模视觉-语言模型(LVLM)在多模态任务中的能力。研究指出现有模型在视觉理解和内容偏见方面的不足,并提出了改进方案,强调了开发更强大模型的必要性。
本文综述大语言模型时代的假新闻检测研究。现有检测器对机器生成内容存在偏见,易将AI生成新闻误判为假;LVLM结合外部知识可提升多模态检测准确性;GPT-4V在多项任务中表现良好但存在幻觉问题;知识库集成能改善检测效果;大模型可辅助小模型,但尚不能替代。
通过RLHF方法对大规模语言模型进行微调,使其更好地与用户偏好相匹配。提出了Diffusion-DPO方法,通过在人类比较数据上进行直接优化,使扩散模型与人类偏好相匹配。使用Diffusion-DPO对稳定扩散XL-1.0模型进行微调,提高了视觉吸引力和提示对齐。开发了一个使用AI反馈的变体,为扩展扩散模型对齐方法打开了大门。
本文研究了大规模视觉-语言模型的集成方法,通过选择具有高度互补性的多种模型来解决任务,实验结果表明集成模型的准确率潜在提升很大。
完成下面两步后,将自动完成登录并继续当前操作。