规则还是故事，对于与大型语言模型对话，哪个更好的常识表达方式？
内容提要
该文综述大语言模型在常识知识获取与应用的研究。实验表明，单独用LLMs选择性提取情境行动知识效果有限，但大规模提取一般性知识可助构建机器人本体论。多项研究涉及常识推理数据集、共识规则推导、对话知识集成及预训练模型常识评估，发现模型常识能力受限，仅表面学习，需多任务学习等增强。
延伸解读
LLM提取常识知识的局限与潜力
文章指出，单独使用LLM选择性提取情境行动知识效果有限，可能不足以支撑服务机器人的日常交互。但大规模提取一般性、可行性知识显示出潜力，表明LLM可作为创建机器人本体论的有效工具。这提示我们，LLM在常识获取上并非全能，需区分任务类型：针对具体情境的精细知识提取仍存挑战，而构建通用知识库则更具可行性。
预训练模型的常识能力：表面学习与评估限制
多项评估显示，预训练语言模型在零样本和少样本常识任务上表现受限，更大模型或少量评估也无法达到人类水平。模型在需要多步推理的任务上表现不佳，且在鲁棒性测试中表现混乱，表明它们可能只是表面学习常识，而非深层掌握。这提醒研究者和开发者，不能高估现有模型的常识推理能力，需通过多任务学习等增强手段来提升。
共识规则推导与测试时间适应
文章介绍了一种从训练数据中推导共识规则的框架，无需监督学习即可量化模型学习共识的程度。该框架在三个领域生成约25万至30万条规则，并揭示最先进模型中存在1.5k至26k个规则违例。通过测试时间适应，可将违例减少多达38%，且不影响整体准确性。这表明，除了提升模型本身，后处理适应也是减少常识错误的有效途径。
常识知识集成对话模型的进展
研究显示，将常识知识集成到对话模型中能提升响应质量。例如，Tri-LSTM模型在基于检索的情境下联合消息和常识选择响应，知识增强模型在自动评估中优于无知识模型。此外，利用ConceptNet等知识库整合真实对话数据集，也显示出合理的评价效果。这些工作表明，外部常识知识的引入对对话系统有实际帮助，但评估方法仍需完善。
Q&A
大型语言模型在常识知识获取方面存在哪些主要限制？
预训练语言模型在没有任务特定监督的情况下获取常识知识的能力受到很大限制，更大的模型或少量评估也无法达到人类常识水平。模型在需要更多必要推理步骤的任务上表现不佳，且鲁棒性测试表明它们只是在表面上学习常识，而非深层次知识。
如何利用大型语言模型为服务机器人构建本体论？
大规模提取一般性、可行性知识显示出潜力，LLMs可以成为有效创建机器人本体论的工具。知识提取技术可以应用于填充极简本体论，展示了LLMs与形式化知识表示的潜在合作能力。
有哪些方法可以增强语言模型的常识推理能力？
可以使用多任务学习和辅助训练信号来增强常识推理能力。此外，通过优化任务提示和生成多样化的链式推理和知识，也能提升在特定数据集上的表现。
CoS-E数据集是什么？它有什么作用？
CoS-E是一个通过自然语言序列和突出注释收集人类常识推理解释而形成的新数据集。利用CoS-E训练语言模型，在CAGE框架中生成解释，可用于训练和推理，实验表明能有效利用语言模型进行常识推理。
如何从模型训练数据中推导共识规则并量化模型学习共识的程度？
提出了一种框架，使用基于逻辑的方法和统计推断，无需监督学习即可从训练数据中推导出共识规则。通过测试时间适应可以减少共识规则违例，在三个领域的数据集上生成了约250至300k条规则，并揭示了最先进模型中1.5k至26k个规则违例，测试时间适应可将违例减少多达38%而不影响整体准确性。
将常识知识集成到对话模型中对响应生成有什么影响？
在基于检索的情境下，提出了Tri-LSTM模型将消息和常识联合起来选择适当的响应，实验证明知识增强模型比无知识模型在自动评估中表现更好。此外，针对commonsense在对话回应生成中的作用进行了实证研究，利用ConceptNet知识库整合真实对话数据集，训练响应生成模型，自动评估方法显示出一定合理的评价效果。
