Length-Induced Embedding Collapse in Transformer Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本文探讨了文本嵌入在长文本中的性能下降,提出了“长度崩溃”现象。通过引入softmax()的温度参数,提出了调节方法TempScale,显著提升了长文本嵌入模型的性能。

🏷️

标签

➡️

继续阅读