小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
在AMD GPU上构建混合模型与vLLM-SR

我们正在构建混合模型(MoM)系统,以提升大型语言模型(LLM)的集体智能。核心问题包括捕捉请求与响应信号、优化模型协作和确保系统安全。通过vLLM语义路由器,我们展示了在AMD GPU上实时路由查询的能力,支持多种模型和信号类型。MoM架构通过智能调度和能力匹配,实现高效的AI部署。

在AMD GPU上构建混合模型与vLLM-SR

vLLM Blog
vLLM Blog · 2026-01-23T00:00:00Z
华为发布ICNMaster MDAF解决方案,引入MoM混合模型架构

华为推出ICNMaster MDAF解决方案,满足全球运营商对核心网高稳定性的需求。该方案采用混合模型架构和多智能体协同技术,实现隐患预防、快速故障修复和分钟级业务恢复,确保用户业务连续性。

华为发布ICNMaster MDAF解决方案,引入MoM混合模型架构

全球TMT-美通国际
全球TMT-美通国际 · 2025-12-22T09:00:06Z

首先我们要注意的是图像的显示问题,在示例应用中是直接用Mat显示的,在WPF中显示图像一般用BitmapImage,那么这里就涉及到一个转换的问题,可以安装一下OpenCvSharp4.Extensions这个库,作者已经提供了一些转换方法。noiseSigma: 噪声强度(亮度或每个颜色通道的标准差),0 表示自动值,用于处理图像中的噪声,值越大对噪声的容忍度越高。history:...

OpenCVSharp:使用 MOG(Mixture of Gaussians,高斯混合模型)算法来从视频流中分离前景和背景

dotNET跨平台
dotNET跨平台 · 2025-11-16T23:58:53Z
NVIDIA AI 发布 Canary-Qwen-2.5B:一款先进的 ASR-LLM 混合模型,在 OpenASR 排行榜上拥有 SoTA 性能

NVIDIA发布了Canary-Qwen-2.5B模型,词错率为5.63%,在Hugging Face OpenASR中排名第一。该模型结合了自动语音识别和语言模型,支持音频摘要和问答,适用于多个行业,具有商业和开源特性。

NVIDIA AI 发布 Canary-Qwen-2.5B:一款先进的 ASR-LLM 混合模型,在 OpenASR 排行榜上拥有 SoTA 性能

实时互动网
实时互动网 · 2025-07-18T02:25:48Z

本研究提出了一种新的竞争机制CompeteSMoE,旨在解决稀疏专家混合模型训练中的路由子优化问题,从而提高令牌路由效率。理论与实证分析表明,该机制在视觉指令调优和语言预训练任务中表现优异,具备良好的性能和可扩展性。

竞争式专家混合模型训练的统计保证

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-19T00:00:00Z

本研究提出了一种改进的归一化函数策略,以解决量子-经典混合机器学习模型在抗癌药物响应预测中的稳定性问题。测试结果显示,该模型在最佳条件下优于传统深度学习模型,推动了量子计算在生物医学领域的应用。

量子-经典混合模型在抗癌药物响应预测中的最佳归一化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-15T00:00:00Z

本研究提出隐私感知无线协作专家混合模型(PWC-MoE),旨在解决带宽受限环境中大型语言模型的隐私与性能矛盾。该模型通过动态路由和负载均衡,有效平衡计算成本、性能和隐私保护,实验结果表明其在保护隐私的同时仍能保持高性能,具有实用潜力。

隐私感知无线协作专家混合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-13T00:00:00Z

本研究提出了一种离散时间高斯过程混合模型(MiDiGap),有效解决了机器人操作中的政策表示和模仿学习灵活性问题。该模型仅需五个演示和摄像头观察即可快速学习,并在多种复杂任务中展现出卓越的推广能力,显著提升了策略成功率和样本效率。

离散时间高斯过程混合模型在机器人策略学习中的不合理有效性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-06T00:00:00Z

本研究提出了一种非竞争博弈方法,克服了黑箱生成AI环境中构建专家混合模型的局限性。通过反馈机制,我们的“专有联合学习”算法显著提升了时间序列预测的准确性。

基于黑箱编码器的专有代理混合模型的在线联合学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-30T00:00:00Z

本研究提出TT-LoRA MoE框架,结合参数高效微调与稀疏专家混合路由,解决大型模型部署的可扩展性问题,显著提升多任务推理的计算效率与灵活性。

TT-LoRA MoE:统一参数高效微调和稀疏专家混合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z
演讲:从“简单”微调到使用开源模型构建您自己的专家混合模型

本次会议分享了创建大型语言模型的经验,强调理解目标的重要性。建议使用Mistral和LoRA技术以降低训练成本,并介绍模型合并和专家混合等方法。强调训练需谨慎,避免过拟合,同时提供多模态模型和语音克隆的信息。最后讨论了性能优化和成本控制策略。

演讲:从“简单”微调到使用开源模型构建您自己的专家混合模型

InfoQ
InfoQ · 2025-04-23T08:07:00Z

本研究解决了稀疏专家混合模型(MoE)预训练中反向更新稀疏导致的不稳定性和性能低下问题。提出了一种名为“默认MoE”的轻量级近似方法,使得MoE路由器可以接收稠密的梯度更新,从而显著提升训练性能。该方法在不增加显著计算开销的情况下,超越了传统的TopK路由方法。

稠密反向传播提升稀疏专家混合模型的训练

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-16T00:00:00Z

本研究提出了一种新的学习框架——塑性感知专家混合模型(PA-MoE),旨在优化自适应视频流的用户体验(QoE)。该模型通过动态调节网络塑性,显著提升了神经网络的自适应能力,实验结果显示QoE性能提高了45.5%。

塑性感知专家混合模型在适应性视频流中的QoE变化学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-14T00:00:00Z

本研究提出了一种结合图注意网络和图卷积网络的混合模型,旨在快速识别农业作物病害。该模型在苹果、土豆和甘蔗叶病分类中实现了0.9822的高准确率,具有可持续农业的应用潜力。

通过GAT-GCN混合模型增强叶片病害分类

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

本研究提出了一种新方法“路由混合模型(MoR)”,通过整合专家混合理念,优化低秩适配(LoRA)在大型模型微调中的性能,平均提升1%。

路由混合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-30T00:00:00Z

本研究解决了在代码大型语言模型(LLM)中性能与效率之间的权衡问题。论文引入了Ling-Coder-Lite,这是一种结合专家混合架构和高质量数据的方法,能够在多个代表性的编码基准上提供与先进模型相当的性能,同时减少50%的资源部署需求。该研究的开源模型和数据为后续研究提供了重要的支持。

每个样本都重要:利用专家混合模型和高质量数据实现高效准确的代码语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-22T00:00:00Z

本研究提出了一种新的混合查找专家架构(MoLE),有效解决了混合专家模型在推理时的高延迟和显存需求问题。实验结果表明,MoLE在相同的FLOPs和显存条件下,推理速度与稠密模型相当,且显著快于传统的MoE,同时保持了性能。

查找专家混合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-20T00:00:00Z

本研究提出了一种灵活的双变量贝塔混合模型(FBBMM),有效解决了传统聚类算法在非凸簇上的局限性,优于其他方法,为大数据分析提供了稳健的解决方案。

灵活的双变量贝塔混合模型:一种用于聚类复杂数据结构的概率方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-27T00:00:00Z

本研究针对稀疏混合专家(MoE)模型训练缓慢的问题,提出了一种新的方法——降级重利用。该方法结合了预训练稠密模型的知识与部分权重的统计重新初始化,有效提高了MoE模型在知识获取上的效率。实验结果表明,降级重利用在长时间训练中显著优于以往的MoE构建方法,实现了更高效的性能和更低的训练成本。

降级重利用:通过部分重新初始化训练稀疏专家混合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-26T00:00:00Z

该研究提出了一种结合迁移学习与元学习的少样本文本分类模型,有效解决了标注数据获取困难的问题。实验结果表明,该模型在少样本和中等样本条件下的性能优于传统方法,具有实际应用潜力。

基于迁移学习与元学习的少样本文本分类混合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-13T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码