本研究提出了多语言基准BRIDGE,评估大型语言模型(LLMs)在临床实践中的表现,涵盖87个任务。结果显示,开源LLMs的性能与专有模型相当,而基于旧架构的医学微调LLMs表现不佳,为新模型在理解临床文本的开发与评估提供了重要资源。
该论文介绍了MedExpQA,这是一个用于评估大型语言模型在医学问答中的表现的多语言基准,指出其在非英语语言中的性能仍需改进,并强调整合医学知识的挑战,呼吁开发其他语言的基准。
该文汇总多项自然语言处理研究,涵盖社交媒体仇恨言论检测、多语言基准数据集、人物互动泛化、货物税务分类、癌症报告编码、异常检测、技能提取及临床编码质量评估,重点探索深度学习与集成模型在分类和检测任务中的应用。
该文综述大语言模型对话评估研究,发现GPT-4在多轮对话生成上质量出色,ChatGPT在摘要、简化、语法纠错任务中多优于其他模型,但经典自动指标得分偏低,人工评估显示黄金参考质量较差;GPT-4模型排名与人类判断较一致,语法纠错一致性较低。研究还涉及阿拉伯语多轮指令、MINT工具反馈、LLM-Eval多维评估、SciEval科学能力、L-Eval长上下文及xDial-Eval多语言基准。
本文综述多语言预训练模型研究,涵盖语义对齐增强非英语数据(六种语言上超英语模型42.5%)、GeoMLAMA基准揭示多语种模型知识多样性不足、BabelNet注入词汇知识提升跨语言词汇任务、Mask-tuning改善泛化、语言适配器提升零样本跨语言迁移、地理适应预训练改进地理任务、利用语言亲缘关系改进跨语言迁移、子词嵌入双语掩码模型用于无监督翻译、XLM在跨语言分类与机器翻译上取得最优结果,以及大规模多语言研究发现神经模型语言结构泛化有限。
完成下面两步后,将自动完成登录并继续当前操作。