智源发布FlagEval「百模」评测结果，丈量模型生态变局

智源研究院发布2024年大模型评测结果，涵盖语言和视觉等多模态模型。

新增金融量化交易能力，显示国内模型在复杂任务上仍有差距。

字节跳动和百度的语言模型表现突出，视觉模型逐渐缩小与闭源模型的差距，但仍需提升。

整体来看，大模型能力明显提升，但实际应用中仍需改进。

评测扩展了任务解决能力，新增数据处理、高级编程和工具调用能力。

首次增加金融量化交易场景的应用能力评估，测量收益优化和性能优化。

多模态模型发展迅速，语言模型发展相对放缓。

语言模型在复杂场景任务上与国际一流水平存在显著差距。

视觉语言多模态模型在图文理解任务上缩小与闭源模型的差距。

文生图模型已具备中文文字生成能力，但仍存在复杂场景处理不足的问题。

文生视频模型画质提升，但存在物体消失、闪现等问题。

语音语言模型能力提升，但在具体任务上与专家模型仍有差距。

K12学科测验显示模型综合得分提升，但仍与人类学生存在差距。

FlagEval大模型角斗场覆盖约50款大模型，反映用户对模型的偏好。

模型辩论平台FlagEval Debate评测模型的逻辑推理和语言表达能力。

金融量化交易评测显示大模型具备生成策略代码的能力，接近初级量化交易员水平。

智源评测体系FlagEval覆盖全球800多个开闭源模型，持续更新评测数据。

智源研究院致力于打造科学、权威、公正、开放的评测体系，推动大模型技术生态发展。