AraTrust: 评估阿拉伯语 LLM 的可信度
原文中文，约400字，阅读约需1分钟。发表于：。提出了第一个全面的阿拉伯语语言模型信任度基准 ——AraTrust，其中包含了多个方面的真实性、伦理、安全性、身体健康、心理健康、不公正、非法活动、隐私和冒犯性语言的 516 道人工多项选择题。通过引入 AraTrust，旨在促进共同努力，为阿拉伯用户创造更安全、更值得信赖的语言模型，其中 GPT-4 在阿拉伯语方面表现出最高的可信度。
本研究探讨了大规模语言模型在印度法律任务中的能力，并提出了新的度量标准$LSS_{eta}$来评估模型的公平性和准确性。通过考虑模型在二元法定推理任务和印度社会不平等因素上的表现，评估了LLMs的安全性。同时，提出了利用专门的法律数据集进行微调流程的方法，以提高模型的安全性和可用性。
