人类与线性混合模型：探究数字通信中表情符号解释与使用的差异
内容提要
研究利用大语言模型合成文本-表情符号平行语料并构建双向翻译模型，性能优于强基准。多项工作评估大模型的情感与语用能力：EmotionBench显示其能适度回应情境但难与人类情绪行为对齐；部分模型情商高于人类平均；GPT-4可预测和操纵情感，但无法取代情感建模，且语用解释表现优越。另有研究发现GPT-3类人直觉与认知错误，GPT-4更理性；GPT-4V具多模态通用性，在情感分析等任务有效，但多语言与趋势泛化不足，存在幻觉。
延伸解读
情感能力评估的进展与局限
文章汇总了多项评估大模型情感与语用能力的研究。EmotionBench通过情境测试发现，模型能适度回应情绪但难以与人类情绪行为对齐；心理测量评估则显示部分模型情商高于人类平均。这些结果说明模型在情感理解上已有进展，但评估多基于特定情境和基准，结论的普适性仍需更多验证。
理性与直觉：模型间的差异
研究对比了不同模型在直觉决策上的表现：GPT-3类模型会表现出类似人类的认知错误，而ChatGPT和GPT-4则学会避免这些错误，呈现更理性的决策方式。这提示模型能力提升可能改变其“类人”偏差模式，但文章未说明这种理性是否在所有任务中稳定，读者需注意任务依赖性。
多模态模型的能力与风险
GPT-4V在情感分析、仇恨言论检测等任务上表现显著，并具备图像-文本联合理解和文化语境意识。然而，研究也指出其在多语言社交多媒体理解、最新趋势泛化上存在挑战，且可能生成错误信息，反映幻觉问题。这表明多模态模型潜力大，但实际部署需警惕泛化不足和事实性错误。
人格推断的准确性与偏差
利用GPT-3.5和GPT-4从用户社交媒体状态更新中推断五大人格特征的研究发现，推断得分与自我报告分数的平均相关性仅为r=.29，且存在性别和年龄偏差。这说明基于数字足迹的人格推断准确性有限，且可能引入不公平性，应用时需谨慎对待推断结果。
Q&A
如何构建文本与表情符号之间的双向翻译模型？
研究通过大型语言模型合成大规模的文本-表情符号平行语料库，并在此基础上提取面向文本-表情符号双向翻译的序列到序列模型。该模型在公共基准测试和人工评估中优于强基准模型，且平行语料库对后续表情符号相关任务有益。
EmotionBench是什么？它评估大语言模型的同理心能力有什么发现？
EmotionBench是一个基于心理学情感评估理论的测试框架，用于评估大语言模型的同理心能力。研究收集了超过400个情境，分为36个因素和8种情绪，并进行了超过1200名全球参与者的人工评价实验。结果显示，LLMs总体能适当回应特定情况，但仍无法与人类的情绪行为建立联系。
大语言模型的情感智能水平如何？是否超过人类？
通过心理测量评估发现，大部分LLMs的情商高于人类平均水平，并超过了某些以人为中心的模型。研究还探讨了模型大小、训练方法和架构等因素对情感智能的影响。
GPT-4在情感预测和操纵方面有哪些能力？能否取代情感建模？
GPT-4可以进行情感预测和情感强度的操纵，以及通过反向评估进行目标、信念和情感的预测。然而，它不能完全取代试图建模情感相关过程的工作，尽管语言模型在情感建模中具有重要作用。
GPT-3和GPT-4在直觉决策和认知错误方面有何差异？
研究表明，GPT-3表现出类似人类的直觉行为和认知错误，而具有更高认知能力的LLMs（如ChatGPT和GPT-4）学会避免这些错误，并表现出超理性的方式。研究还探究了直觉决策倾向的稳定程度。
GPT-4V在多模态任务中的表现如何？存在哪些局限性？
GPT-4V具有处理多种输入、广泛通用性的能力，在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上效果显著，并具备图像-文本联合理解、文化和语境意识以及常识知识。但在多语言社交多媒体理解和社交媒体最新趋势泛化方面仍存在挑战，且在涉及名人和政治家知识时会出现错误信息生成的幻觉问题。
