该文介绍多个评估大语言模型的基准:KMMLU用韩语原创试题测试26个模型,最佳准确率仅50.54%,远低于人类的62.6%;CAT基于文化维度框架评估ChatGPT、Bard等的跨文化一致性;KorNLI、SocKET、ALCUNA分别测试韩语理解、社交语言理解和新知识处理能力,揭示模型在文化对齐与推理上的不足。
完成下面两步后,将自动完成登录并继续当前操作。