语言模型中数值属性的单调表示
📝
内容提要
通过简单的方法寻找和编辑语言模型中内部表示中的数值属性,发现所有模型中存在跨多个数值属性的特性编码方向,表明数值属性的单调表示在语言模型预训练期间始终存在。
➡️
通过简单的方法寻找和编辑语言模型中内部表示中的数值属性,发现所有模型中存在跨多个数值属性的特性编码方向,表明数值属性的单调表示在语言模型预训练期间始终存在。