BriefGPT - AI 论文速递
·
QueerBench：度量语言模型对酷儿身份的歧视
💡
原文中文，约600字，阅读约需2分钟。
📝
内容提要
大型语言模型（LLMs）在不同语言描述的任务中可能表现出语言歧视。研究发现，LLMs对英语、法语、俄语和西班牙语的查询表现更好，而对其他语言的查询表现较差。为了减轻语言歧视，研究提出了一种基于相似度的投票机制LDFighter，它能提供一致的服务。评估结果显示，LDFighter显著降低了成功越狱的概率，并改善了响应质量。
🎯
关键要点
- 大型语言模型（LLMs）在多语言支持方面表现出色，但存在语言歧视问题。
- LLMs对英语、法语、俄语和西班牙语的查询表现更好，而对孟加拉语、格鲁吉亚语、尼泊尔语和迈蒂利语的查询表现较差。
- 研究使用AdvBench和NQ两个数据集分析了四个LLMs的输出一致性。
- LLMs在英语、丹麦语、捷克语和斯洛文尼亚语的查询中产生更高质量的响应。
- 为减轻语言歧视，研究提出了基于相似度的投票机制LDFighter。
- LDFighter确保为不同语言使用者提供一致的服务，显著降低了成功越狱的概率，并改善了响应质量。
🏷️
标签
➡️
