BriefGPT - AI 论文速递
·
学习预测常识生成的概念排序
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究发现，使用BART-large模型在按照CommonGen训练数据中概念顺序进行微调时表现最优，即使使用专门针对该任务的训练数据进行微调，更大的基于GPT3的大型语言模型变体在此任务上也未必表现更好。人工标注者在手动编写涵盖这些概念的句子时会显著调整输入的概念顺序，并且无论生成时使用的LM如何，这种排序都能提供最好的句子生成结果，超过了基于概率的概念排序基线。
🎯
关键要点
-
研究发现，使用BART-large模型在CommonGen训练数据中概念顺序进行微调时表现优于其他语言模型。
-
多个评估指标显示，BART-large模型在该任务上始终表现最佳。
-
即使使用专门针对该任务的训练数据进行微调，基于GPT3的大型语言模型变体未必表现更好。
-
人工标注者在手动编写句子时会显著调整输入的概念顺序。
-
无论使用何种语言模型，调整后的概念排序能提供最佳的句子生成结果，超越基于概率的概念排序基线。
🏷️
标签
➡️
