问答、对话系统场景下的LLM优化评估方法 - 蝈蝈俊
内容提要
LLM优化方法有三类：Prompt Engineering、RAG、Fine-tuning。问答系统的自动化评分方法有Exact Match (EM)和F1 Score。对话系统的评估维度包括连贯性、流畅性和多样性。人类评估仍然重要，可以作为自动化评分的补充。
延伸解读
EM与F1：严格匹配与部分匹配的权衡
EM要求模型答案与标准答案完全一致，包括标点、同义词等细节，因此非常严格，适合答案简短且需绝对正确的场景。F1则通过精确率和召回率综合评估，能反映部分匹配情况，更适合生成式问答。两者结合使用，可以同时衡量模型的精确匹配能力和部分匹配表现，避免单一指标的片面性。
对话系统评估：超越正确性的三个维度
与问答系统不同，对话系统更注重交互体验，因此评估维度扩展到连贯性、流畅性和多样性。连贯性关注逻辑和上下文一致，流畅性关注语言自然和语法正确，多样性关注内容变化和避免重复。这三个维度共同决定了对话系统的质量，优化它们能显著提升对话的自然性和互动质量。
自动化评分的局限与人类评估的补充
尽管EM、F1以及连贯性等自动化指标能高效评估模型性能，但它们难以完全捕捉人类对语言微妙之处的感知。例如，自动化指标可能无法准确评估回答的相关性或创造性。因此，人类评估仍然不可或缺，可以作为自动化评分的补充，由评估员根据具体维度对模型输出进行打分，从而更全面地衡量模型表现。
Q&A
LLM优化方法有哪些类型？
LLM优化方法分为三类：Prompt Engineering、RAG和Fine-tuning。
问答系统的自动化评分方法是什么？
问答系统的自动化评分方法包括Exact Match (EM)和F1 Score。
什么是Exact Match (EM)？
Exact Match (EM) 衡量模型生成的答案与标准答案是否完全一致，适用于精确答案的任务。
F1 Score是如何计算的？
F1 Score是精确率和召回率的调和平均值，计算公式为F1=2×(Precision×Recall)/(Precision+Recall)。
对话系统评估的主要维度有哪些？
对话系统的评估维度包括连贯性、流畅性和多样性。
人类评估在模型评估中有什么作用？
人类评估可以作为自动化评分的补充，帮助根据生成文本的相关性、流畅度和准确性进行打分。
