EELBERT：通过动态嵌入实现微小模型

EELBERT 是一种基于 transformer 模型（例如 BERT）的压缩方法，通过在模型的输入嵌入层中使用动态嵌入计算来实现对下游任务准确性的最小影响。通过替换嵌入层，我们成功地显著减小了模型的大小，并在 GLUE 基准测试中证明了 EELBERT 与传统 BERT 模型之间仅有微小的回归差异。这一方法使得我们能够开发出最小的模型 UNO-EELBERT，其大小为 14MB，GLUE 得分仅相对于完全训练的 BERT-tiny 低 4%。