ChatCite: 比较文学简介的 LLM 代理人与人工工作流指导
内容提要
本研究提出了一种利用大型语言模型（LLM）进行文献综述的工具包，旨在减少文献综述的时间和工作量。通过整合开放科学和自然语言处理，自动生成高质量的非编码RNA文献摘要，证明LLM在多个临床文本摘要任务中优于人工专家，从而减轻医生文档负担，提升个性化患者护理。
延伸解读
LLM文献综述工具包的核心机制
该工具包基于检索增强生成（RAG）原理，结合专门的提示与指示技术，旨在减少文献综述的时间和工作量。它通过自动生成高质量、事实准确的摘要及参考文献，为RNA科学中缺乏编辑时间的问题提供了高效替代方案。
临床文本摘要中的LLM优势
研究采用八个大型语言模型，在六个数据集和四个摘要任务上评估，发现最佳适应的LLM摘要比人工摘要在完整性和正确性上更可取。人类评估者偏好LLM生成的摘要，因其事实连贯性更好且外在幻觉更少，这有助于减轻临床医生的文档负担。
指导调整与模型规模的关键作用
通过对十种预训练方法、提示和模型规模的人类评估，研究发现指导调整而非模型规模是LLM零样本摘要能力的关键。LLM生成的摘要被认为与人类撰写的摘要相媲美，这强调了优化指导策略的重要性。
人机协作与评估成本优化
研究提出从长文档中提取关键句子，再通过提示LLM评估摘要，显著降低了评估成本并提高了与人工评估的相关性。此外，人类分析师与LLM的合作可能产生协同效应，丰富定性研究，但需注意二者在分类和推理能力上的显著差异。
Q&A
大型语言模型如何帮助文献综述的过程？
大型语言模型通过自动生成高质量的文献摘要，减少了文献综述的时间和工作量。
LLM生成的摘要与人工摘要相比有什么优势？
LLM生成的摘要在完整性和正确性方面更可取，人类评估者偏好LLM生成的摘要。
研究中提到的关键句子提取方法有什么好处？
该方法显著降低了评估成本，并提高了从长文档中提取的重要信息的相关性。
如何提高大型语言模型的零样本摘要能力？
指导调整而非模型规模是提高LLM零样本摘要能力的关键。
LLM在临床文本摘要任务中的表现如何？
LLM在多个临床文本摘要任务中表现优于人工专家，减轻了医生的文档负担。
人类分析师与LLM的合作有什么潜在效果？
人类分析师与LLM的合作可能产生协同效应，丰富定性研究。
