标签

 语言模型 

相关的文章:

探索大型语言模型在科学与社交媒体中的应用,评价其在分子科学、谣言检测、贝叶斯优化等领域的效果。

BriefGPT - AI 论文速递 -

大型语言模型能成为良好的情感支持者吗?在情感支持对话中缓解偏好偏差

情感支持对话(ESC)是通过日常对话来缓解个人情感困扰的任务。本研究分析了大型语言模型(LLMs)在 ESConv 上的结果,揭示了挑选正确策略的挑战和对特定策略的显著偏好。通过对 LLMs 内在偏好对情感支持的影响进行探索,发现对特定策略的高偏好阻碍了有效的情感支持,导致其在预测适当策略方面的鲁棒性进一步加剧。此外,我们进行了一项方法论研究,为 LLMs 成为优秀情感支持者提供了见解。研究结果强调了(1)对特定策略的低偏好阻碍了情感支持的进展,(2)外部辅助有助于减少偏好偏差,以及(3)单靠 LLMs 无法成为优秀情感支持者。这些发现为增强 LLMs 的情感智能提供了有前景的研究方向。

研究发现大型语言模型在情感支持对话中的应用存在偏好偏差,外部辅助可以减少偏好偏差,但模型单靠自身无法成为优秀情感支持者。这些发现为增强模型的情感智能提供了研究方向。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

GlórIA - 一种面向葡萄牙语的生成式和开放性大型语言模型

通过 Gl'orIA 这一强大的欧洲葡萄牙语解码器 LLM,在多个下游任务中,Gl'orIA 在语言模型和生成有丰富知识且连贯的葡萄牙语文本方面远优于现有的 PT 解码模型。

该研究介绍了两种新的资源来增强加利西亚语的自然语言处理,为低资源语言提供了多语言模型的研究,并探索了如何利用相关语言生成连贯的文本。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

GumbelSoft: 利用 GumbelMax 技巧实现多样化的语言模型水印

通过引入新型的 GM 水印 ——Logits-Addition 水印及其三个变种,以提高生成多样性;其中,GumbelSoft 水印在高多样性条件下表现出优越的性能,其 AUROC 得分优于其他两种变体的得分 0.1 至 0.3,并超过其他解码水印方法至少 0.1。

本文介绍了一种在自回归语言模型中种植水印的方法,该方法对扰动具有鲁棒性,并且不改变文本分布。通过使用随机水印密钥计算的随机数序列映射到语言模型的样本来生成带水印的文本。实验证明该方法对各种释义攻击具有统计功率和鲁棒性。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

CLIPping the Deception: 转变视觉语言模型以适应通用深度伪造检测

该研究探索了预训练视觉 - 语言模型与先进适应方法相结合在通用深假检测中的有效性,结果表明,保留视觉和文本部分对于检测效果至关重要。通过提出的简单轻量级的 Prompt Tuning 适应策略,使用较少的训练数据(20 万张图像,相较于 72 万张),在 mAP 和准确率上超过先前的方法 5.01% 和 6.61%。在 21 个不同数据集的严格测试中,该模型展现了在包括基于 GANs、基于 Diffusion 和商业工具生成的图像中的实际适用性。

本研究探索了预训练视觉-语言模型在智能生成图像的检测中的潜力。通过基于CLIP特征的轻量级检测策略,发现不需要大量特定领域数据集训练,仅利用少量示例图像即可展现出泛化能力,并在商业工具中具有高鲁棒性。在分布内数据上与SoTA相匹配,在分布外数据的泛化能力和受损/清洗数据的鲁棒性上有显著改进。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

SiLLM:大型语言模型用于同步机器翻译

同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM,将 SiMT 任务分解为策略决策和翻译子任务,并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT,最终实现了最新技术水平的性能表现。

本研究提出了一种多模式方法来同时机器翻译,使用自适应策略平衡翻译质量和延迟,并通过集成视觉和文本信息来支持该过程。研究发现,视觉线索可以在保持延迟低的同时提高翻译质量。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

大型语言模型的知识蒸馏调查

知识蒸馏(KD)机制在大型语言模型(LLM)中起着关键作用,将专有的 GPT-4 等模型的先进功能和细腻理解传输到像 LLaMA 和 Mistral 这样的开源模型。此次调查详细讨论了 KD 机制、特定认知能力增强以及其在不同领域的实际应用,展示了数据增广(DA)和 KD 之间的相互关系,旨在弥合专有和开源 LLM 之间的差距,促进更具可访问性、高效性和可持续性的人工智能解决方案。

知识蒸馏(KD)机制在大型语言模型(LLM)中起关键作用,将专有模型的功能传输到开源模型。调查讨论了KD机制、认知能力增强和实际应用,展示了数据增广和KD之间的关系,促进可持续的人工智能解决方案。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

研究大型语言模型的文化一致性

通过调查人类社会学的实际问卷与模型响应的对比,我们的研究发现,大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性,即当以特定文化的主要语言作为提示时,以及当使用该文化所采用的多语言精炼混合体系进行预训练时,对于模拟调查的不同人物与敏感社会议题,模型的文化一致性更加重要。最后,我们引入了人类学提示的创新方法,利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性,对于跨语言传递的影响的必要性。

通过比较实际问卷和模型响应,研究发现大型语言模型在文化一致性方面表现更好。使用特定文化的主要语言作为提示以及采用该文化的多语言精炼混合体系进行预训练,对于模拟调查的不同人物和敏感社会议题,模型的文化一致性更加重要。研究还引入了人类学提示的创新方法,以增强文化一致性。这项研究强调了平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性,以及对于跨语言传递的影响的必要性。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

SoMeLVLM:用于社交媒体处理的大型视觉语言模型

通过介绍一种用于社交媒体处理的大型视觉语言模型(SoMeLVLM),该模型具备知识与理解、应用、分析、评估和创造等五个关键能力,在处理多种社交媒体任务方面取得了最先进的性能。

GPT-4V在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上表现出显著效果,具备联合理解、文化和语境意识、广泛的常识知识。但在多语言社交多媒体理解和对社交媒体最新趋势的泛化方面仍有挑战。同时,在名人和政治家知识的持续发展背景下,可能会出现错误信息生成的倾向。研究结果显示,大型多模态模型在理解社交媒体内容和用户方面具有巨大潜力。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

ELAD:解释引导的大型语言模型主动蒸馏

通过 Explanation-Guided LLMs Active Distillation (ELAD) 框架,我们引入了一种主动学习策略,以优化注释成本与模型性能之间的平衡;通过利用解释步骤中的不确定性,我们改进了高效样本选择方法;此外,我们还提出了一种定制化的 LLMM - 注释解释修订技术,以检测和修正学生模型推理中的缺陷。我们在各种推理数据集上的实验证明,我们的框架显著提高了 LLMM 知识蒸馏的效率。

本研究提出了一种方法,将大型语言模型(LLMs)的知识提炼为更小、更高效且准确的神经网络,以在资源受限设备上部署模型。通过对测试数据集的比较,结果显示提炼的学生模型准确率更高,参数大小减小了100倍和10倍。该研究为自动评分在教育环境中的应用提供了潜力。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

Reflect-RL: 用于语言模型的两人在线强化学习微调

使用在线强化学习引导反射模型辅助多轮交互决策中的预训练语言模型,通过单提示动作枚举和课程学习来提高性能。实验证实了 Reflect-RL 在在线学习中的有效性,并显示其在性能上优于通常的 SFT 和无反射的在线 RL 方法。

通过将大型语言模型(LLMs)作为决策制定代理部署到RL中,我们提出了TWOSOME,这是一个新颖的在线框架,使LLMs能够高效地与具体环境进行交互和对齐。在广泛的实验中,我们评估了TWOSOME的性能,结果表明TWOSOME在经典决策制定环境和模拟家庭环境中均显著提高了样本效率和性能,并展示了优越的一般化能力和原始能力的保持。

相关推荐 去reddit讨论

热榜 Top10

...
LigaAI
...
Dify.AI
...
天勤数据
...
观测云
...
白鲸技术栈
...
eolink
...
ShowMeBug

推荐或自荐