BriefGPT - AI 论文速递 · 2025-03-20T00:00:00Z

InhibiDistilbert：基于ReLU和加法的变换器的知识蒸馏

📝

内容提要

该研究提出了一种新方法，结合模型压缩技术与抑制注意机制，以解决变换器语言模型的计算和能效问题。调整后的模型在自然语言处理基准测试中表现出竞争力，显示出提升效率的潜力。

🏷️

标签

变换器 模型压缩 注意机制 能效 语言模型