DFKI-NLP 参加 SemEval-2024 任务 2:基于数据扰动和 MinMax 训练的鲁棒 LLMs
原文中文,约300字,阅读约需1分钟。发表于: 。本研究旨在通过使用大型语言模型(LLMs)在临床试验报告(CTRs)上开发出鲁棒的自然语言推理模型,以应对 SemEval-2024 中的自然语言推理任务。研究采用了最先进的 Mistral 模型及其辅助模型,通过对数据进行数字和首字母缩写扰动的融合训练,实现了对语义变换和数字矛盾干预的处理能力,并对数据集进行了分析以了解 CTRs 的挑战性部分。
该论文介绍了一种名为TLDR的新方法,用于改进临床NLI任务中的蕴涵和矛盾分析。该方法利用T5模型生成的临床语言摘要进行DeBERTa报告分析。实验结果表明,TLDR方法显著提高了宏观F1得分,并在预测一致性和忠实度方面对语义变化输入具有优越性。