高效计算语言模型对上下文的敏感性

本研究解决了现代语言模型在查询回答中对用户输入上下文敏感性不均的问题。通过引入基于Fisher信息的高效估计方法，Fisher敏感性，使得计算模型对上下文变化的敏感性速度提高了70倍，验证了其与传统Monte Carlo方法结果的一致性。研究发现，大型模型对上下文的敏感性与小型模型相当，揭示了模型规模对敏感性的影响。