BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

The Impact of Opening the Stable Door on Clever Hans: Simple Features Predict Benchmark Answers of Large Language Models

📝

内容提要

研究发现AI系统可能通过意外方式完成任务，影响基准测试的有效性。简单的n-gram特征能准确预测多项选择题的答案，可能被大语言模型利用，需谨慎解释结果。

🏷️

标签

AI基准测试 models n-gram特征 大语言模型 有效性