本文介绍了多个中文大模型评测基准：CMMLU覆盖多学科，多数模型准确率不足50%；CMMU、CMMMU评测多模态理解；M3KE测多学科少样本能力，GPT-3.5约48%；ZhuJiu多维评估中文能力；SuperCLUE显示GPT-4可自动评估用户偏好。此外还提及韩语基准KMMLU及大规模多模态数据集Wan Juan。

本文综述了多项语言模型评估基准，包括韩语基准KoBEST、KLUE、KMMLU，中文高考基准GAOKAO-Benchmark，以及知识边界评估方法。其中KMMLU涵盖45个学科、3.5万道题，GPT-4准确率仅59.95%，低于人类的62.6%，表明韩语模型仍有较大提升空间。

该文汇总多项研究：KMMLU韩语基准涵盖45个学科3.5万题，GPT-4准确率59.95%，低于人类的62.6%；EVE统一视觉语言模型提升下游性能；多语言E5嵌入模型支持百种语言；KELIP用11亿图文对训练韩英双语模型；EE-LLM框架加速大模型训练推理；另有词汇映射、语音理解等研究。

该文介绍多个评估大语言模型的基准：KMMLU用韩语原创试题测试26个模型，最佳准确率仅50.54%，远低于人类的62.6%；CAT基于文化维度框架评估ChatGPT、Bard等的跨文化一致性；KorNLI、SocKET、ALCUNA分别测试韩语理解、社交语言理解和新知识处理能力，揭示模型在文化对齐与推理上的不足。