本文探讨了历史信息中的时间与内容结合，提出了一种基于时间衰减的注意力机制以提升口语理解能力。实验结果表明，该机制在复杂对话中表现优异。此外，研究了Transformer模型在文本表征学习中的位置偏差，并提出了统一用户建模框架以改善新闻推荐效果，同时探讨了大语言模型在点击诱饵检测中的局限性。