小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
MoE比你想象的更强大:基于RoE的超并行推理扩展

本文介绍了一种名为RoE的超并行推理框架,旨在提升大语言模型(LLM)在标记级别的预测质量。RoE通过动态组合多个专家模型,利用受控随机性为每个标记采样多个专家,从而实现更准确的预测。此外,该方法在计算效率上进行了优化,使得7B MoE模型的性能可与10.5B MoE模型相媲美,同时减少了30%的计算需求。

MoE比你想象的更强大:基于RoE的超并行推理扩展

Apple Machine Learning Research
Apple Machine Learning Research · 2026-01-12T00:00:00Z

本研究提出了GeoUni,这是首个统一的几何专家模型,能够在单一框架内生成几何问题的解决方案和图形,填补了机器学习在该领域的空白。

GeoUni: 生成几何图形、问题及问题解决方案的统一模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-14T00:00:00Z

本研究提出AIDE框架,解决视觉语言模型(VLM)对更大模型的依赖问题。AIDE通过利用专业领域的专家模型自主增强能力,显著提升性能,无需更大模型或人工监督。

Enhancing the Capabilities of Visual Language Models through Domain Expert Engagement

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-13T00:00:00Z

本研究提出了“战斗编码器”,通过专家模型在竞技环境中相互挑战生成新训练数据,解决大型代码语言模型对高质量数据的依赖问题。实验结果表明,该方法在性能上具有竞争力,且不依赖专有模型。

Battle Coder: Learning from Expert Battles to Enhance Large Code Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z

OpenAI于2024年12月6日推出了一种新的强化微调方法,旨在通过少量数据构建专家模型,应用于医疗和科学决策等领域。该方法结合了人类反馈的强化学习,有效学习决策过程。尽管技术潜力巨大,但数据集中在非开源公司可能带来安全隐患。

OpenAI的强化微调:RL+Science 创造新神还是灭霸?

机器之心
机器之心 · 2024-12-08T06:50:17Z

本研究提出了一种新的国际象棋评论生成方法(CCC),结合了专家模型的决策优势与语言模型的流畅性,并开发了评估工具(GCC-Eval),以提高评论的质量和可评估性。实验结果表明,CCC生成的评论准确且信息丰富,对模型的解释性和人类教育具有重要影响。

弥合专家模型与语言模型之间的差距:概念引导的国际象棋评论生成与评估

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z

本文介绍了一种高效的LLM比较评估的专家模型(PoE),通过结合不同专家的信息,可以得到一个与潜在候选集相关的表达式,具有高度灵活性。使用高斯专家时,可以导出最优候选排名的简单闭式解,以及选择哪些比较可以最大化该排名的概率的表达式。该方法能够实现高效的比较评估,只需使用一个小子集即可生成与全部比较使用时相似相关性的分数预测。在多个自然语言生成任务上评估了该方法,并证明了在执行成对比较评估时能够实现可观的计算节省。

高效 LLM 比较评估:基于专家框架的配对比较

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-09T00:00:00Z

我们提出了基于专家模型的冷启动与热身网络,通过整合两个专家的结果和引入动态知识蒸馏作为教师选择器,帮助专家更好地学习用户表示。在公共数据集上评估中,我们的模型在匹配阶段表现优异,胜过其他模型,并在工业级短视频平台上实现了显著的增加。

多功能异构交互建模用于冷启动评分预测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-26T00:00:00Z

该研究提出了一种基于专家模型的冷启动与热身网络,通过门控网络整合两个专家的结果,并引入动态知识蒸馏作为教师选择器,以帮助专家更好地学习用户表示。该模型在公共数据集上表现优异,对于所有用户类型都胜过其他模型,并在一个工业级短视频平台上实现了显著的增加。

冷热净:解决推荐系统中的冷启动用户问题

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-27T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码