定制模型能在上下文中学习吗？混合架构在上下文学习任务中的性能探索

BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本研究分析了传统模型架构在上下文学习任务中的效率与准确性，比较了GPT-2、LLaMa和Mamba等模型的混合架构，发现某些调整会导致性能下降，而某些混合模型则显著提升性能，并提出了“ICL回归分数”来量化模型表现。