本文探讨了生成式搜索/推荐中的“沙漏”现象,指出中间层tokens过于集中导致路径稀疏和长尾分布,影响模型性能。实验分析提出移除第二层和自适应调整token分布的解决方案,有效缓解了这一问题,提升了模型效果。
完成下面两步后,将自动完成登录并继续当前操作。