小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
VALSE Event Invitation | Xiaomi AI Technology Salon: Discussing the New Future of AI with Technology Experts!

本文介绍了红包的使用规则,包括红包的个数和金额最低限制,以及余额的使用说明。余额为虚拟货币,按1:1比例抵扣支付金额,但不能直接用于购买下载内容。

VALSE Event Invitation | Xiaomi AI Technology Salon: Discussing the New Future of AI with Technology Experts!

小米云技术 小米云技术 · 2026-04-25T09:01:01Z

The “Experts and Rock Stars” panel discussion at Oracle AI World 2025, held from October 13-16, 2025, provided an engaging platform for prominent experts within the AI and MySQL communities. This...

Panel Discussion: Experts and Rock Stars at Oracle AI World 2025 – Recap

Planet MySQL Planet MySQL · 2025-12-15T10:00:00Z
CLIP-UP:一种简单高效的稀疏上循环Mixture-of-Experts CLIP训练方案

Mixture-of-Experts (MoE)模型在提升模型能力和控制推理成本方面至关重要。我们提出了一种高效的训练策略CLIP-Upcycling(CLIP-UP),将预训练的密集CLIP模型转化为稀疏MoE架构。实验结果表明,CLIP-UP显著降低了训练复杂性和成本,稀疏CLIP B/16模型在COCO和Flickr30k基准测试中分别超越密集模型7.2%和6.6%。该方法在不同规模上表现良好,为构建高效CLIP模型提供了可行方案。

CLIP-UP:一种简单高效的稀疏上循环Mixture-of-Experts CLIP训练方案

Apple Machine Learning Research Apple Machine Learning Research · 2025-05-27T00:00:00Z

该研究提出了一种名为“强化认知专家”(RICE)的方法,旨在解决大规模推理模型中的认知低效问题。该方法在不进行额外训练的情况下,显著提升了推理准确性和认知效率,优于现有技术。

Two Experts Are All You Need to Guide Thinking: Enhancing Cognitive Effort in MoE Reasoning Models Without Additional Training

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究提出了一种测试时间模型合并(TTMM)方法,旨在解决混合专家模型因训练和推理成本高而只能使用少量专家的问题。TTMM显著增加了专家数量,并且测试时间比传统方法快100倍以上,为大规模测试提供了经济有效的解决方案。

Mixture of Local Experts: Achieving Essentially Free Test-Time Training through Model Merging

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究提出了一种新的竞争机制CompeteSMoE,旨在解决稀疏专家混合模型训练中的路由子优化问题。通过理论分析和实证评估,CompeteSMoE在视觉指令调优和语言预训练任务中表现出较低的训练开销和强大的性能,展现了有效性、鲁棒性和可扩展性。

Statistical Guarantees for Competitive Mixture of Experts Training

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-19T00:00:00Z

本研究提出了一种隐私感知无线协作专家混合模型(PWC-MoE),旨在解决带宽受限环境中大型语言模型的隐私保护与性能矛盾。该模型通过动态路由敏感与非敏感数据,并结合负载均衡机制,有效平衡计算成本、性能和隐私保护。实验结果表明,该框架在保护隐私的同时,能够在带宽有限的情况下保持高性能,具有实用潜力。

Privacy-Aware Wireless Collaborative Mixture of Experts

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-13T00:00:00Z

本研究提出UMoE架构,解决了Transformer模型中注意力层与前馈网络性能差异的问题,提高了参数共享效率和整体性能。

UMoE: Unified Attention Mechanism and Feedforward Network through Shared Experts

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-12T00:00:00Z

本研究探讨了混合专家(MoE)层在深度学习中的表达能力,提出增加活跃专家数量能够显著提升模型性能,实验结果验证了这一理论。

The Power of Fine-Grained Experts: Granularity Enhances the Expressive Capability of Mixture of Experts

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-11T00:00:00Z

本研究提出了一种名为“数据治疗师”的工具,旨在解决数据可视化中对领域特定上下文理解不足的问题。该工具通过主动问答和互动注释,帮助专家发掘和结构化隐性知识,从而提升AI在可视化设计中的支持能力。

Data Therapist: Eliciting Domain Knowledge from Subject Matter Experts Using Large Language Models

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-01T00:00:00Z

本研究提出TT-LoRA MoE框架,结合参数高效微调与稀疏专家混合路由,解决大型模型部署的可扩展性问题,显著提升多任务推理的计算效率与灵活性。

TT-LoRA MoE: A Unified Framework for Parameter-Efficient Fine-Tuning and Sparse Mixture of Experts Models

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z

本研究提出了一种新的学习框架——塑性感知专家混合模型(PA-MoE),旨在优化自适应视频流的用户体验(QoE)。该模型通过动态调节网络塑性,显著提升了神经网络的自适应能力,实验结果显示QoE性能提高了45.5%。

Learning QoE Variation in Adaptive Video Streaming Using a Plasticity-Aware Mixture of Experts Model

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-14T00:00:00Z

本研究提出了一种新方法“MoE专家压缩套件”(MC-Suite),旨在解决稀疏激活混合专家(SMoE)模型的冗余和内存需求问题。通过迭代修剪和微调机制,优化专家丢弃过程,显著提升了SMoE的能力,尤其是指令执行能力,为混合专家模型的高效性和可扩展性提供了重要见解。

Finding Outstanding Experts in Mixture of Experts: A Unified Study on Expert Dropping Strategies and Observations

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-08T00:00:00Z

本研究质疑专家混合模型(MoE)路由器对语义特征的依赖,强调位置标记信息在路由决策中的重要性,并通过实证分析进行了验证。

Spatial Structure of Mixture of Experts in Transformers

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-06T00:00:00Z

该研究提出了协作约束路由(C2R)策略,以提高混合专家(MoE)模型的效率,解决专家激活不平衡和通信开销过高的问题。实验结果显示,该方法在多个NLP基准测试中提升了性能,并显著降低了GPU间的通信成本。

Enhancing the Efficiency of Mixture of Experts (MoE): A Collaboration-Constrained Routing (C2R) Strategy for Better Expert Parallelism Design

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-02T00:00:00Z

本研究提出了MoECollab框架,利用混合专家架构实现大型语言模型(LLM)的分布式协作开发,解决了集中化问题,提高了准确性,降低了计算需求,推动了LLM开发的民主化。

MoECollab: Democratizing LLM Development Through Collaborative Mixture of Experts

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-16T00:00:00Z

本研究探讨了混合专家(MoE)模型在处理复杂数据时的优势,解决了计算资源消耗大和适应性差的问题。文章综述了MoE的设计、算法及其在机器学习中的应用,展示了其在提升模型性能和效率方面的潜力,尤其在大规模多模态数据处理中表现优异。

A Comprehensive Survey of Mixture-of-Experts: Algorithms, Theory, and Applications

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-10T00:00:00Z

本文探讨了非专家如何理解和配置人工智能系统,通过设计可操作的AI以直接操控黑箱代理。实验结果表明,参与者在不确定条件下成功提升了性能,展现了对代理行为的理解,为可操作AI系统的设计提供了重要启示。

Operable Artificial Intelligence: Enabling Non-Experts to Understand and Configure AI Systems

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-09T00:00:00Z

本研究提出了一种基于结构化医学推理的方法,以解决大型语言模型在医学问题回答中的错误和不完整性。该方法通过七步认知过程指导模型,实验结果显示在MedLFQA基准上取得了85.8的最高事实性得分,证明了其高效性和可扩展性。

Structured Outputs Enable General-Purpose Large Language Models to Become Medical Experts

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-05T00:00:00Z

本研究提出了CoServe系统,旨在解决大型语言模型(如GPT-4)的内存消耗问题。通过引入专家依赖性和智能调度,CoServe在智能制造中实现了4.5到12倍的推理效率提升,展现出在精密应用中的潜力。

CoServe: Efficient Collaboration-of-Experts (CoE) Model Inference with Limited Memory

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-04T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码