多模态大模型的事实正确性评估显示，o1模型表现最佳，但普遍过于自信。研究基于ChineseSimpleVQA基准，涵盖2200个问题，分析了模型的视觉识别能力和知识水平。模型在现代建筑和科学领域表现优异，但知识扩展能力有限，错误率较高。评测集经过严格质量控制，确保数据的高质量和安全性。

我们提出了SciKnowEval基准，以五个科学知识水平评估大型语言模型（LLMs），涵盖知识广度、探索能力和伦理考量。以生物学和化学为例，构建了50,000个科学问题的数据集，评估了20个LLMs。结果表明，尽管性能优越，专有LLMs在科学计算方面仍需改进。

本研究提出了一种基于结构性因果模型的框架，旨在解决人工智能系统决策结果中的责任归属问题。通过反事实推理考虑代理者的知识水平，提高了责任划分的准确性。