基于经验人工智能的排行榜生成的指令微调
内容提要
该研究探讨了文本生成的评估方法，提出了GENIE系统和Bidimensional Leaderboards模型，以提高人类评估的标准化和实用性。同时，介绍了InstructMining和Auto-Instruct方法，旨在提升指令质量，并展示了精细调整的LLMs在文献综述中的应用潜力，呼吁更新PRISMA指南以整合AI驱动的过程。
延伸解读
评估标准化与排行榜演进
文章梳理了文本生成评估从GENIE系统到Bidimensional Leaderboards的演进。GENIE通过自动化去噪和标准化流程，试图解决人工评估不一致的问题；而Bidimensional Leaderboards则同时追踪模型进展与评价指标，以人类评价对指标进行排名和选择。这反映出评估领域正从单一任务、单一指标向跨任务、多维度比较发展，但文章未提及这些系统在实际部署中的成本与可扩展性限制。
指令质量优化的两条路径
InstructMining和Auto-Instruct分别从数据选择和指令生成两个角度提升指令微调效果。InstructMining评估指令遵循数据的质量，筛选高质量数据用于微调；Auto-Instruct则通过生成多样化候选指令并利用评分模型排序，自动提高指令质量。实验表明，Auto-Instruct在118个领域外任务上超越了人工编写指令和现有LLM生成的指令，且对未参与训练的LLM也有泛化能力。
LLM在文献综述中的自动化尝试
文章介绍了利用精细调整的LLM自动化系统性文献综述（SLR）的研究。该方法覆盖知识综合阶段，并通过复制符合PRISMA的SLR进行验证，在事实准确性上保持高保真度。研究还提出了减轻LLM虚幻感和追踪信息来源的机制，并呼吁更新PRISMA指南以整合AI驱动过程。这为应对学术文献增长提供了新思路，但文章未讨论自动化SLR在跨领域适用性和伦理审查方面的潜在挑战。
排行榜生成中的上下文选择
针对从研究论文中生成AI排行榜的任务，文章提到评估Mistral 7B、Llama-2、GPT-4-Turbo和GPT-4.o等模型在提取（任务、数据集、指标、得分）四元组时的表现，并比较了DocTAET、DocREC和DocFULL三种上下文输入类型的影响。研究强调选择适当上下文能提高效率并减少幻觉，为可靠生成排行榜提供了新途径。但文章未给出具体性能数据或各模型间的详细对比结论。
Q&A
GENIE系统的主要功能是什么？
GENIE系统用于跨不同任务进行标准化的人类评估，提供总排行榜。
Bidimensional Leaderboards模型如何评估语言生成模型？
该模型同时跟踪语言生成模型的进展和评价指标，通过人类评价进行排名和选择。
InstructMining方法的作用是什么？
InstructMining用于评估指令遵循数据的质量，并选择高质量数据进行微调。
Auto-Instruct方法如何提高指令质量？
Auto-Instruct通过生成多样化的候选指令，自动提高LLMs的指令质量。
精细调整的LLMs在文献综述中的应用潜力如何？
精细调整的LLMs在自动化系统性文献综述中展示了高效和实用的潜力。
该研究对PRISMA指南的建议是什么？
研究呼吁更新PRISMA指南，以整合AI驱动的过程，确保方法的透明性和可靠性。
