比银河系还多的专家：具有生物启发固定路由的条件重叠专家

BriefGPT - AI 论文速递 · 2024-10-10T00:00:00Z

本研究提出了一种新方法，条件重叠混合专家（COMET），解决神经网络在多任务学习中的干扰问题。通过固定随机投影构建稀疏架构，允许专家重叠，促进知识转移，提高学习速度和泛化能力。COMET在图像分类、语言建模和回归分析任务中表现出色。