💡 原文中文,约3800字,阅读约需9分钟。
📝

内容提要

美团 LongCat 团队推出了 LongCat-Flash-Lite,这是一款轻量化的 MoE 模型,参数量为685亿,推理时激活29亿至45亿参数。该模型在智能体和编程任务中表现优异,尤其在复杂工具使用和代码修复方面,现已开源,欢迎开发者体验。

🎯

关键要点

  • 美团 LongCat 团队推出 LongCat-Flash-Lite,参数量为685亿,推理时激活29亿至45亿参数。
  • LongCat-Flash-Lite 在智能体和编程任务中表现优异,尤其在复杂工具使用和代码修复方面。
  • 传统 MoE 架构面临边际收益递减和系统通信开销上升的问题,LongCat 团队通过嵌入扩展获得更优效能。
  • N-gram嵌入层增强模型对局部上下文语义的捕获能力,提升语义理解的精准度。
  • LongCat-Flash-Lite 通过动态激活机制和三重优化实现推理效率的提升。
  • 模型在智能体工具使用与编程任务上均展现出领先性能,尤其在代码修复和终端命令执行方面。
  • LongCat-Flash-Lite 在综合知识和推理能力评估中保持与规模相匹配的均衡性能。
  • LongCat-Flash-Lite 开源,欢迎开发者体验和研究,提供每日5000万tokens的免费额度。
➡️

继续阅读