SemScore：基于语义文本相似度的指导调整 LLMs 的自动评估
内容提要
该文综述大语言模型在语义相似度与文本生成评估中的应用：生成式模型在特定领域STS任务中优于编码器模型；LLMScore、INSTRUCTSCORE等实现可解释、多层次的自动评估，与人类判断相关性更高；LLMBar等元评估基准揭示评估器差异，并提出提示策略缩小与人类差距；MSTemp通过元语义模板检测数据污染，降低模型性能。
延伸解读
生成式模型在语义相似度任务中的优势
文章指出，生成式大型语言模型在特定领域的语义相似度任务中表现优于基于编码器的模型，尤其在需要世界知识的任务上，新收集的数据验证了这一结论。这意味着在评估文本语义相似度时，生成式模型可能提供更准确的判断，但需注意其优势可能局限于特定领域。
可解释评估与人类判断的相关性
LLMScore和INSTRUCTSCORE等评估方法利用大语言模型实现可解释、多层次的自动评估，与人类判断的相关性显著高于传统度量。这为文本生成评估提供了更可靠的自动化手段，但文章也提到不同评估器性能存在差异，最高分评估器仍有改进空间。
元评估基准揭示评估器差异
LLMBar等元评估基准用于调查大语言模型在评估指令遵循生成文本方面的效力，发现不同评估器表现不同，并提出新颖提示策略以缩小与人类评估的差距。这提示读者，自动评估器的可靠性需通过元评估来检验，且提示策略可能影响评估结果。
数据污染检测与性能影响
MSTemp方法通过创建元语义模板生成超出分布的评估集，实验表明这些样本可以显著降低大语言模型的性能。这揭示了数据污染对模型语义理解能力的潜在影响，提醒研究者在评估模型时需考虑数据污染问题，并采用相应方法进行检测。
Q&A
生成式大语言模型在语义文本相似度任务中真的比编码器模型更好吗？
是的，在特定领域的语义相似度任务中，生成式大语言模型表现优于基于编码器的模型，并且在需要世界知识的STS任务上，新收集的数据也验证了这一结论。
LLMScore 是什么？它有什么优势？
LLMScore 利用大语言模型为文本到图像合成模型提供带有多层次的组成性评估得分，与通常使用的文本-图像匹配度量相比，其与人类评估之间的相关性显著更高。
INSTRUCTSCORE 如何实现可解释的文本生成评估？
INSTRUCTSCORE 通过利用显式人类指令和 GPT4 的隐式知识来创建评估度量标准，无需人类数据即可达到类似于 COMET22 等最先进度量标准的性能水平。
LLMBar 基准测试发现了什么？
LLMBar 是一个具有挑战性的元评估基准，用于调查 LLMs 在评估指导遵循生成文本方面的效力。研究发现不同评估器对 LLMBar 的性能表现不同，最高分的评估器仍有改进空间，并提出了一套新颖的提示策略来缩小 LLM 和人类评估器之间的差距。
MSTemp 方法是如何检测数据污染的？
MSTemp 通过创建元语义模板对 LLMs 进行评估，不直接对现有基准数据集进行评估，而是使用现有数据集作为种子生成新的超出分布的评估集，实验结果表明 MSTemp 生成的样本可以显著降低 LLMs 的性能。
在编程领域学生解答的自动评估中，LLMs 与微调编码器模型相比表现如何？
在编程领域学生解答的自动评估中，LLMs 在少样本和思维链模式下与 fine-tuned encoder-based 模型的性能相当。
