条件Vendi评分:基于信息论的生成模型多样性评估方法
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了文本条件生成模型在多样性评估方面的不足,尤其是现有度量方法无法区分文本引导的多样性与生成模型自身的多样性。我们提出了一种信息论的方法,通过条件熵和互信息的分解来量化生成样本的多样性,进而引入条件Vendi评分和信息Vendi评分。实验结果表明,这些评分与文本条件生成模型的内部多样性存在显著相关性,有助于改进生成模型的评估机制。
本文提出了一种评估文本到图像生成模型的框架,涵盖图像质量和文本条件两部分。引入美学评分模型,自动检测低质量区域。研究探讨了概念覆盖和公平性,揭示了模型输出中的性别、种族和年龄偏见。该方法灵活,适用于其他图像生成,促进对生成模型的理解。