本研究探讨了大型组织中专家寻找系统的偏差评估,分析了自动化推荐对评估结果的影响,并提出改进的注释流程,以避免系统的过度估计,确保评估结果的真实性和有效性。这些发现有助于优化专家寻找的基准创建和选择。
本研究评估了大型语言模型(LLMs)在气候变化调查中的算法忠实度和偏差。发现LLMs能够捕捉总统投票行为,但在表示全球变暖观点时遇到挑战。GPT-4在人口统计和协变量条件下表现更好,但在估计特定群体观点时存在差异,尤其是低估黑人对全球变暖的担忧。研究强调了在使用LLMs进行调查模拟时的重要性,需要进行细致的条件设置、模型选择、调查问卷格式和偏差评估。进一步研究和算法审计对于解决LLMs的固有限制至关重要。
完成下面两步后,将自动完成登录并继续当前操作。