METRIK: 使用输入遮盖的转换器进行高效测量的随机对照试验
内容提要
本文介绍了多种机器学习模型及其在不同任务中的应用，包括PMI-Masking、混合效应模型、TabMT和遮盖轨迹模型。这些模型在处理数据缺失、提高翻译质量和优化决策方面表现出色，展示了在预训练和下游任务中的有效性。
延伸解读
从随机掩码到PMI-Masking的改进
文章指出，PMI-Masking利用点对互信息替代随机掩码，提高了预训练效率和下游任务性能。这提示我们，掩码策略的设计可以基于语言单元之间的统计关联，而非均匀随机选择，从而更有效地学习语言表示。对于预训练模型的研究者，这一思路可能启发更高效的掩码方案。
混合效应模型应对稀疏上下文
针对GPT-3等模型在稀疏、额外上下文环境下性能下降的问题，文章提出混合效应Transformer模型，通过引入前缀逐级学习结构化变异因素。实验表明该模型在领域适应性测试中表现良好。这说明在领域迁移时，显式建模上下文变异可能比单纯增大模型规模更有效。
度量标准训练对鲁棒性的意外影响
文章通过控制实验发现，经过人类评估训练的神经度量标准（Prism+FT）对机器翻译参考文献的鲁棒性更强，而参考文献问题在MT评估中臭名昭著。这表明度量标准训练的效果超出了改善与人类判断整体相关性的预期，可能为开发更稳健的自动评估指标提供新方向。
遮盖轨迹模型：一种通用的决策抽象
遮盖轨迹模型（MTM）将顺序决策抽象为轨迹重建任务，通过随机遮盖模式训练多功能网络。实验显示，同一MTM网络可匹配或优于专用网络，其学到的状态表示能加速传统RL算法，并在离线RL基准中与专门算法竞争。这提示自监督学习在决策任务中具有潜力。
Q&A
PMI-Masking 是什么，它的优势是什么？
PMI-Masking 是一种替代随机掩码方法的结构，能够提高预训练效率和下游任务性能。
混合效应模型如何解决现代语言模型的性能问题？
混合效应模型通过引入前缀逐级学习，改善了在稀疏上下文环境中的性能。
TabMT 模型的主要应用是什么？
TabMT 是一种新型掩码 Transformer 设计，主要用于生成合成表格数据并有效处理缺失数据。
遮盖轨迹模型 (MTM) 的工作原理是什么？
MTM 通过随机子集重建轨迹，学习多功能网络，从而加速传统强化学习算法的学习速度。
分布鲁棒度量 (DRM) 方法的优势是什么？
DRM 方法在选择强健的 CATE 估计器方面表现出色，消除了拟合附加模型的需求。
这些机器学习模型在处理数据缺失方面的表现如何？
这些模型如 TabMT 和 PMI-Masking 在处理数据缺失时表现出色，能够提高数据填充的准确性。
