本文探讨了使用SLAM作为替代方案来评估语言模型的可行性，通过解决偏向高标记数的偏差问题，重新校准评估器与人类评估之间的差异。研究结果显示，重新校准的评估器与人类评估之间的相关分数显著改善，强调了考虑偏差的重要性。重新校准过程提高了自动评估器的可靠性，产生与人类价值观和期望相一致的更好的AI模型。该研究为未来的偏差校正研究提供了方法，并强调了开发与人类一致的AI评估系统的可行性和益处。

本论文提出了一种完全记录且实用的、可以重现语言模型评估的开放标准OLMES。该标准考虑了不同评估实践因素，并支持较小和较大模型之间的比较。