量子位
·
手机也能跑大模型，腾讯混元推出多款小尺寸开源模型
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
腾讯混元推出四款小尺寸开源模型，参数分别为0.5B、1.8B、4B和7B，适用于手机和低功耗设备。这些模型具备快速推理和高性价比，支持复杂任务处理，并已在多个应用中验证其实用性。模型的上下文窗口可处理超长内容，提升了多行业的应用潜力。
🎯
关键要点
- 腾讯混元推出四款小尺寸开源模型，参数为0.5B、1.8B、4B和7B，适用于低功耗设备。
- 新模型支持快速推理和高性价比，适合复杂任务处理，已在多个应用中验证实用性。
- 模型具备长上下文窗口，能够处理超长内容，提升多行业应用潜力。
- 四款模型在语言理解、数学和推理等领域表现出色，得分领先。
- 模型的agent能力提升，适用于深度搜索、excel操作和旅行攻略规划等任务。
- 模型原生长上下文窗口达256k，能处理40万中文汉字或50万英文单词的内容。
- 四个模型可单卡部署，支持主流推理框架和多种量化格式。
- 模型已在腾讯多个业务中应用，验证了其可用性和实用性。
- 腾讯会议AI小助手和微信读书AI助手利用模型实现对完整内容的理解和处理。
- 腾讯手机管家和智能座舱助手利用模型提升垃圾短信识别和车载环境体验。
- 金融AI助手和游戏翻译等应用展示了模型在垂直行业的高可靠性和多语言理解能力。
- 腾讯混元持续推进开源，参与技术社区，开源模型覆盖文本、图像、视频和3D生成等多个模态。
- 腾讯混元已开源多个大语言模型，受到广泛关注，未来将继续推出更多模型，推动开源生态发展。
➡️
