语言模型中数值属性的单调表示

📝

内容提要

通过简单的方法寻找和编辑语言模型中内部表示中的数值属性,发现所有模型中存在跨多个数值属性的特性编码方向,表明数值属性的单调表示在语言模型预训练期间始终存在。

🏷️

标签

➡️

继续阅读