Nugget是一种基于动态选择的子集输入标记的语言表示方法，通过自动编码和机器翻译等任务学习这些紧凑单元来直观地将语言分成有意义的单元，并在涉及语义比较的任务中表现优异。该方法还允许扩大语言模型的上下文窗口，为未来的语言模型打开了新的前景。