ProtocoLLM：针对领域特定科学协议制定任务的LLM自动评估框架
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对自动生成科学协议的评估问题提出了一种灵活的框架ProtocoLLM，旨在评估大型语言模型（LLM）在科学协议制定任务（SPFT）中的能力。通过抽取生物协议的伪代码并与LLAM-EVAL进行比较，我们发现GPT和Cohere在科学协议制定方面表现优秀，并引入了BIOPROT 2.0数据集，促进了LLM在此领域的应用与评估。
本研究提出ProtocoLLM框架，用于评估大型语言模型在科学协议制定中的能力。通过比较生物协议伪代码与LLAM-EVAL，发现GPT和Cohere表现优异。引入BIOPROT 2.0数据集，推动该领域应用与评估。
