生物医学三段论推理的大型语言模型评估框架 SylloBio-NLI

本研究解决了大型语言模型（LLMs）在生物医学领域进行有效三段论推理的能力不足的问题。提出的SylloBio-NLI框架利用外部本体系统生成多样的生物医学三段论论证，并评估LLMs在识别有效结论和提取支持证据方面的表现。实验表明，LLMs在生物医学三段论推理上表现较差，尤其在零-shot情况下，提示了模型的架构和预训练机制对稳健性的重要影响。