研究表明,随机神经网络的输出并非完全随机,而是存在内在偏差,揭示了网络功能空间中的系统“红移”效应。这一发现挑战了神经网络初始化的传统假设,并解释了其高效学习的原因。
本文提出了一种新颖的推理方法——选项流(FoO),旨在解决大型语言模型的内在偏差问题。FoO能够系统性地探讨多种推理可能性,理论验证显示其在机器学习任务中提升了38.2%-69.2%,具有广泛的适用性和成本效益。
本文研究了模型性能与内在偏差的关系,提出通过外部微调去除偏差的方法。实验证明,内在偏差指标能更有效地评估去偏差效果,并指出现有评估措施的局限性。研究还探讨了性别偏见的缓解策略及其对下游任务的影响,提出因果检测微调方法可在不降低性能的情况下缓解偏见。
完成下面两步后,将自动完成登录并继续当前操作。