BriefGPT - AI 论文速递 · 2023-10-03T00:00:00Z

Nugget：文本的神经集成嵌入

📝

内容提要

Nugget是一种基于动态选择的子集输入标记的语言表示方法，通过自动编码和机器翻译等任务学习这些紧凑单元来直观地将语言分成有意义的单元，并在涉及语义比较的任务中表现优异。该方法还允许扩大语言模型的上下文窗口，为未来的语言模型打开了新的前景。

🏷️

标签

Nugget 机器翻译 自动编码 语义比较 语言表示方法