该研究评估了医学领域的开源和闭源大型语言模型在临床试验报告数据集上的自然语言推理能力。Gemini模型在具有医学缩写和数量 - 定量推理要求的挑战性实例上表现良好，获得了0.748的F1分数，并在任务排行榜上位列第九。这是第一项全面检验大型语言模型在医学领域推理能力的研究。

本文评估了医学领域的开源和闭源大型语言模型在临床试验报告数据集上的自然语言推理能力，并分析了它们在具有医学缩写和数量 - 定量推理要求的挑战性实例上的表现。Gemini模型在测试集上获得了0.748的F1分数，排名第九。这是第一项全面检验大型语言模型在医学领域推理能力的研究。