算法、系统和应用，三个视角全面读懂混合专家（MoE）
原文约7400字，阅读约需18分钟。发表于：。各家科技公司正在使用混合专家（MoE）方法开发新一代大模型。MoE框架允许模型的不同部分专注于不同任务或数据方面，以控制计算成本并受益于专业知识。MoE相关研究增长强劲，尤其是在产业级LLM出现后。
标签
算法
相关的文章：探索算法在不同领域的应用与优化，包括排序算法、机器学习算法等。了解如何选择适合应用场景的排序算法，以及如何利用机器学习算法进行能量最小化计算。
基于特征重构和细化的工业纹理表面异常定位算法 ALMRR
原文约300字，阅读约需1分钟。发表于：。本文提出了一种基于 Mamba 的带有特征重构和细化的异常定位方法 (ALMRR)，通过人工合成的缺陷对原始图像进行增强，然后利用对齐的语义信息输入到细化模块中获得异常图。通过在 MVTec-AD-Textured 数据集和其他真实世界工业数据集上进行广泛实验，证明其在性能上优于最先进的方法。
提出了一种名为RLR的新型统一特征重建型异常检测框架，利用可学习的参考表示明确地使模型学习正常特征模式，增强鲁棒性。在MVTec-AD和VisA数据集上评估，表现优秀。代码将公开发布。
基于最大熵的策略改进演员 - 评论家算法及熵优势估计
原文约300字，阅读约需1分钟。发表于：。提出用于在 on-policy actor-critic 设置中实现最大熵强化学习 (MaxEnt RL) 的简单方法，并通过扩展 Proximal Policy Optimisation (PPO) 和 Trust Region Policy Optimisation (TRPO) 来在 MuJoCo 和 Procgen 任务中提高策略优化性能，同时强调了 MaxEnt RL 增强泛化能力。
我们提出了一种新的最大熵强化学习框架EBFlow，集成了策略评估和策略改进步骤，支持多模态动作分布建模。实验结果显示，EBFlow在高维机器人任务上优于传统方法。
通过机器学习预测改进在线算法
原文约200字，阅读约需1分钟。发表于：。利用机器学习预测来改进在线算法性能的问题，研究了滑雪租赁和非知异工作调度两个经典问题，提出了新的在线算法，利用预测结果做出决策，不受预测性能的影响，但在预测不准确时性能不会下降太多。
近期算法设计的先进方法显示出提高性能的潜力，并提供最坏情况保证。本文研究在线问题，设计了专为所需算法任务而量身定制的在线学习算法，优化总体性能。
基于对数索勒维不等式的期望最大化算法快速收敛
原文约300字，阅读约需1分钟。发表于：。利用最近发展的构建 Wasserstein 空间梯度流的工具，我们将常用的分析技术应用于 Euclidean 空间上交替最小化算法的理解，通过其作为 Neal 和 Hinton（1998）所提出的欧几里得空间和概率分布空间上坐标逐一最小化的表示，将其扩展到 Expectation Maximization（EM）算法。我们通过自然的 log-Sobolev...
利用构建Wasserstein空间梯度流的工具，将分析技术应用于Euclidean空间上的交替最小化算法的理解，并扩展到Expectation Maximization（EM）算法。通过推广log-Sobolev不等式，获得了有限样本误差界和EM算法的指数级收敛。分析技术足够灵活，可以分析EM算法的几个变种。
DSCL：已开源，北京大学提出解耦对比损失 | AAAI 2024 - 晓飞的算法工程笔记
原文约8900字，阅读约需22分钟。发表于：。监督对比损失（SCL）在视觉表征学习中很流行。但在长尾识别场景中，由于每类样本数量不平衡，对两类正样本进行同等对待会导致类内距离的优化出现偏差。此外，SCL忽略了负样本之间的相似关系的语义线索。为了提高长尾识别的性能，论文通过解耦训练目标来解决SCL的这两个问题，将SCL中的原正样本和增强正样本解耦
本文介绍了一种用于长尾识别的解耦监督对比学习方法，通过解耦正样本并优化它们的关系来减轻数据集不平衡的影响。同时，提出了基于块的自蒸馏方法，将知识从头类转移到尾类，以缓解尾类表征不足的问题。实验结果显示该方法在长尾识别任务中表现出较好的性能。
一种混合联邦核正则化最小二乘算法
原文约300字，阅读约需1分钟。发表于：。在混合设置中，我们提出了一种高效的核正则化最小二乘算法的改进形式，引入了两种变体，并使用既定的数据集验证它们，最后讨论了防止可能攻击的安全措施。
本文介绍了一种联邦学习框架，通过使用差分隐私机制，从不同站点本地持有的分布式健康数据中学习全局模型，提供了两个级别的隐私保护。该框架在两个医疗应用程序上的评估证明了其在提供更高级别的隐私保护和维护全局模型效用方面的可行性和有效性。
OLOR：已开源，向预训练权值对齐的强正则化方法 | AAAI 2024 - 晓飞的算法工程笔记
原文约4800字，阅读约需12分钟。发表于：。随着预训练视觉模型的兴起，目前流行的视觉微调方法是完全微调。由于微调只专注于拟合下游训练集，因此存在知识遗忘的问题。论文提出了基于权值回滚的微调方法OLOR（One step Learning, One step Review），把权值回滚项合并到优化器的权值更新项中。这保证了上下游模型权值范围的一
随着预训练视觉模型的兴起，论文提出了一种基于权值回滚的微调方法OLOR，通过合并权值回滚项到优化器的权值更新项中，减少知识遗忘并增强微调性能。同时，采用逐层惩罚和多样化衰减率来调整不同层的权值回滚级别，适应不同的下游任务。实验证明OLOR在各种任务上具有普遍适用性和最先进的性能。
在双曲空间中学习层次嵌入的几何感知算法
原文约200字，阅读约需1分钟。发表于：。使用几何感知算法和膨胀操作解决超 bolic 嵌入在处理层次数据时的困难，实验结果显示算法具有优越性能。
本文提出了一种嵌入有向无环图的新方法，使用双曲空间模拟树状结构，并使用测地凸锥定义分层关系。实验证明该方法在表示能力和泛化方面有显着改进。
DeepClean: 整合失真识别和算法选择以纠正图像污染
原文约300字，阅读约需1分钟。发表于：。图像和视频中的失真识别和矫正是实现下游视觉应用良好性能的关键。我们提出了一种两级顺序规划方法，用于自动图像失真分类和矫正，通过动态重新配置、条件输入图像以及泛化到推理时未见的候选算法，实现了与三个基准方法相比的改进，在具有丰富失真集合的 COCO 图像数据集上进行物体检测任务。
本文提出了一个双层对抗性框架，通过动态对抗性学习和分层增强学习策略提升检测的鲁棒性。使用空间频率交互网络分离干扰和显著特征。实验证明该方案在多种干扰下改善了21.96％ IOU，并在基准测试中提升了4.97％的IOU。
