informal
·
DeBERTa
📝
内容提要
背景 微软的发表的一篇文章，主要提出将文本的语义编码和位置编码，在计算 attention 时分别两两计算再求和，是个有趣的思路。 复现 参考原 bert 参数，A100 机器上跑一轮得3个小时，算力是在顶不住，放弃了。 所以就只用 paddle 实现一下 DeBERTa，跑通 demo 锻炼下编码能力，过程中主要是 disentangled attention 实现起来有点复杂。 def...
➡️
