Vocabulary Compression of Language Models for Low-Compute Environments

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究通过字节对编码(BPE)合并分组方法,解决了低计算环境下语言模型的内存消耗问题,内存使用减少了3.4倍,性能与GPT-Neo和GPT-2相当。

🏷️

标签

➡️

继续阅读