BriefGPT - AI 论文速递 · 2024-04-12T00:00:00Z

有效预训练的蒙版标记的新特性

📝

内容提要

通过优化蒙面标记以解决自我监督学习中的效率问题，该方法称为蒙面标记优化（MTO），可实现与最新方法相当的预训练性能，减少近 50% 的预训练时期。