OMGEval是第一个能评估LLMs在不同语言中能力的开源测试集，包括中文、俄语、法语、西班牙语和阿拉伯语。OMGEval提供了804个问题，通过GPT-4作为仲裁者，证明OMGEval与人工评估密切相关，为研究共同体进一步理解和改进LLMs的多语言能力提供参考。