该研究介绍了ArcMMLU，一种为中文图书馆与信息科学领域定制的基准测试。研究发现，大多数主流LLM在ArcMMLU上的平均准确率超过50％，但仍存在性能差距。ArcMMLU填补了中文LIS领域LLM评估的空白，为未来发展铺平了道路。

该研究介绍了ArcMMLU，一种为中文图书馆与信息科学领域定制的基准测试。研究发现，大多数主流LLM在ArcMMLU上的平均准确率超过50％，但仍存在性能差距。ArcMMLU填补了中文LIS领域LLM评估的空白，为未来发展铺平了道路。