腾讯混元推出四款小尺寸开源模型，参数分别为0.5B、1.8B、4B和7B，适用于手机和低功耗设备。这些模型具备快速推理和高性价比，支持复杂任务处理，并已在多个应用中验证其实用性。模型的上下文窗口可处理超长内容，提升了多行业的应用潜力。

本研究使用Vision Transformer模型结合近似计算方法分析了低功耗设备上Transformer模型的计算要求和性能折衷，提出了使用蒙特卡洛树搜索算法生成Vision Transformer模型的近似加速器的方法，实现了显著的功耗优化。

本研究提出了一种结合卷积神经网络和隐马尔可夫模型的有效方法，用于对视频胶囊内镜图像进行肠胃分类。该方法在罗得岛胃肠病学数据集上达到了98.04%的准确率，适用于低功耗设备。