StoryAnalogy: 从大型语言模型获取故事层面类比以解锁类比理解
原文中文,约300字,阅读约需1分钟。发表于: 。评估了通过构建首个大规模故事级类比语料库 StoryAnalogy 来识别和生成类比的能力,并发现类比识别任务对于句子嵌入模型和最近的大型语言模型(LLMs)都具有极高的挑战性。最终发现 StoryAnalogy 中的数据可以提高 LLMs 的类比生成质量,其中经过微调的 FlanT5-xxl 模型在零 - shot 情况下表现与 ChatGPT 相当。
该研究创建了一个类比叙事数据集和评估框架,研究了不同抽象程度的类比和不类比之间的匹配。结果表明,高级别映射缺乏低级别映射时,大语言模型难以识别,所有映射同时存在时,性能得到改善。查询叙事形成的低级别映射会影响大语言模型的类比推理能力。