Probing the Topology of Token Space with Structured Prompts

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种通用方法,通过大型语言模型(LLM)揭示其令牌输入嵌入的拓扑结构,并提供了理论证明。该方法有效恢复了Llemma-7B的令牌子空间,对LLM及一般非线性自回归过程具有重要影响。

🏷️

标签

➡️

继续阅读