嵌入中藏着什么？无论是什么嵌入，玫瑰都会闻起来一样香吗？
内容提要
大型语言模型通过将嵌入向量转化为可理解的叙述，解决了嵌入向量的解释和使用问题。研究表明，这些模型在语义相关性和推理能力上优于传统模型，但在常识推理方面仍存在局限性。论文提出了一种基于对比学习的知识嵌入方法，以提高长尾实体的表征效果。
延伸解读
嵌入解释的新路径
文章指出，大型语言模型能将嵌入向量转化为可理解的叙述，这解决了嵌入难以解释和使用的问题。这种能力可应用于概念激活向量、通信新的嵌入实体以及解码推荐系统用户偏好等任务。这意味着嵌入不再只是黑箱向量，而是可以通过语言模型进行语义解读，为下游应用提供更直观的接口。
LLM嵌入与经典模型的对比
通过比较经典词嵌入与大型语言模型的词嵌入，研究发现LLM往往更紧密地聚集语义相关的词，并在Bigger Analogy Test Set上取得更高平均准确率。此外，一些LLM的词嵌入与相对较轻的句子级BERT模型相似。这表明LLM在语义表示上具有优势，但并非所有LLM都显著优于轻量级模型。
常识推理的局限与概率影响
文章强调，大型语言模型在常识推理任务中仍存在局限性，纯统计学习难以应对组合爆炸问题。此外，一项评估显示，LLM的准确性受任务概率、目标输出概率和输入概率影响，例如GPT-4解码简单密码时，高概率输出准确率为51%，低概率时仅13%。这提示在低概率场景下使用LLM需谨慎。
知识嵌入的改进方法
针对长尾实体表征问题，论文提出基于对比学习的LMKE方法，利用语言模型从文本信息中推导知识嵌入，以丰富长尾实体的表示。实验结果表明，LMKE在知识嵌入基准测试中，特别是在长尾实体上，取得了最先进的性能。这为知识图谱嵌入提供了一种新思路。
Q&A
大型语言模型如何解决嵌入向量的解释问题？
大型语言模型通过将嵌入向量转化为可理解的叙述，增强了其在概念激活和用户偏好解码等任务中的能力。
大型语言模型在推理能力上与传统模型相比有什么优势？
研究表明，大型语言模型在语义相关性和推理能力上优于传统模型，但在常识推理方面仍存在局限性。
什么是基于对比学习的知识嵌入方法？
基于对比学习的知识嵌入方法旨在通过语言模型从文本信息中推导出知识嵌入，以提高长尾实体的表征效果。
大型语言模型在常识推理方面存在哪些局限性？
大型语言模型在常识推理任务中存在局限性，纯统计学习难以应对组合爆炸问题，且不应仅追求统计改进。
如何评估大型语言模型的准确性？
评估大型语言模型的准确性需要考虑执行任务的概率、目标输出的概率和提供的输入的概率，这些因素会影响模型的表现。
LMKE方法在知识嵌入基准测试中的表现如何？
实验结果表明，LMKE方法在知识嵌入基准测试中特别是在长尾实体上取得了最先进的性能。
