大语言模型中的符号调整
原文中文，约1500字，阅读约需4分钟。发表于：。作为人工智能从业者，我们都希望语言模型能够像人类一样适应和学习。但我们目前的 LLM 却做不到这一点--它们过于依赖已有的知识和硬编码的提示。 这让我们不得不不断调整提示和脚手架任务，给模型喂食。为了让模型完成新任务，我们只能不断地对其进行脆化和操纵，这是一个痛苦的循环。最终，我们只能弯下腰来让数据适应模型，而不是让模型灵活地从数据中学习。...
谷歌发表了一篇突破性论文，介绍了一种称为符号调整的创新微调方法，可以让语言模型从头开始学习概念，而不需要通过提示和指令来手把手地教。符号调整通过使用随机符号作为标签对模型进行再训练，消除了依赖内置词汇的障碍。
