BriefGPT - AI 论文速递 · 2025-02-12T00:00:00Z

Improving Embedding Representations through Coupled Adam

📝

内容提要

本文提出了一种改进的耦合Adam优化器，以解决大型语言模型在学习词表示时的各向异性问题。实验结果表明，耦合Adam显著提高了嵌入质量，并优化了大规模数据集的任务性能。

🏷️

标签

优化器 大规模数据集 嵌入质量 耦合Adam 词表示