通过同时建模句法树和句子，句法变换器语言模型旨在实现更好的泛化效果。引入了Dependency Transformer Grammars（DTGs），通过修改注意力掩码模拟受约束注意力模式的从属转换系统，通过相对位置编码将堆栈信息整合进来，并通过令牌嵌入和操作嵌入的组合来增强从属弧表示。在以依赖树注释的句子数据集上训练时，DTGs在保持与变换器语言模型基线相当的困惑度的同时，实现了更好的泛化效果。DTGs还优于最近的基于从属的模型，表明从属关系可以更好地指导变换器语言模型。

本文研究了自监督学习方法在心电图心律失常检测中的有效性，并对三个基于ECG的心律失常数据集进行了分布分析和实验评估。结果表明，SSL方法比监督方法更有效，其中SwAV表现最佳，并且在不同数据集上具有良好的泛化效果。作者还对SSL方法在三个数据集上的表现进行了详细的疾病研究。