本研究分析大型语言模型在推理任务中的公平性和鲁棒性，特别是对非洲美式英语（AAVE）的表现。研究开发了新的方言基准ReDial，并测试多种模型，发现这些模型对AAVE的表现不公平，且AAVE查询对性能的影响大于标准英语中的拼写错误，显示出对方言用户的服务不足。

本研究评估了多语种大型语言模型的性能，发现GPT-4o和Llama-3 70B模型在大多数Indic语言中表现最佳。人类和语言模型的一致性较高，但在直接评估中特别是对于孟加拉语和奥迪亚语等语言，一致性下降。GPT评估器存在自我偏见。