本研究分析了预训练语言模型中的性别偏见，揭示了不同模型在性别编码上的一致性，并指出常见去偏见技术效果有限，甚至可能加剧偏见，为改善偏见缓解策略提供了指导。

本研究提出Astromer 2模型，解决光曲线分析中的模型表示不足问题。该模型通过自监督学习在150万条光曲线数据上预训练，并在小型标注数据集上微调，显著提升性能，尤其在样本较少时F1分数提高15%。

本研究探讨了下一标记预测对语言模式与模型表示几何属性映射的影响，发现NTP促进了稀疏加低秩结构的学习，可能导致表示在适当子空间中聚集。其他研究探讨了语境化表示的拓扑感知、大型语言模型中嵌入的信息编码、下一标记预测的隐性偏见等。还提出了构建无需固定词嵌入的语言模型、重新考虑预训练语言模型的词元嵌入及其定义等方法。

本文介绍了CroSSL、TriMix、DiffMix等多种自监督学习和半监督学习的新方法，旨在提升模型在少量标注数据下的性能。这些方法在多模态学习、连续学习和分类准确率方面表现优于现有技术，尤其在低数据情况下效果显著。

通过将自回归预测目标与构建预测充分统计量的思想联系起来，我们确定了三种情况下嵌入的最佳内容：独立同分布数据、潜在状态模型和离散假设空间，并进行实证研究表明 Transformers 编码了这三种潜在生成分布，并在这些情况下表现良好。

本文提出了一种基于Transformer的CAD生成模型，能够自动编码和生成3D形状，并创建了包含178,238个模型的CAD数据集。Model2Scene通过学习CAD模型与语言，解决了CAD模型与真实场景之间的领域差异，显著提升了无标签3D物体检测的性能。DiffCAD实现了从RGB图像中检索和对齐CAD模型的条件生成。

本文介绍了分布式对齐搜索（DAS）方法，使用梯度下降找出高层和低层模型对齐，允许神经元在非标准基中扮演多个角色，发现其他方法所错过的内在结构，消除因果抽象分析的前期限制。

机器学习研究取得进展，但模型可解释性不足。研究团队提出模块化操作框架，保持性能和可解释性。通过多样化解释技术和数据处理，揭示复杂模型决策过程。框架在计算效率和可解释性方面取得卓越成效。满足机器学习应用需求。

本研究提出了一种解决多语言神经机器翻译中零翻译问题的方法，通过移除编码器层中的残差连接，使模型表示更加与特定语言对应。实验证明，该方法在零翻译任务上获得了18.5个BLEU点的提升，并在其他有监督的翻译中表现出高质量。同时，通过对隐藏层输出的检查，证明该方法能够获得更多的语言无关性。

本文介绍了使用Galaxy Zoo项目的机器学习模型，通过卷积神经网络从星系图像中提取特征并分类为螺旋形或椭圆形。模型与人类分类器比较后证明了其有效性，准确性高，有助于增强对星系形成和演化的理解。

本论文介绍了一种视觉模型驱动的强化学习方法，能够在动态环境中有效运行并对噪声和干扰具有弹性。作者还提出了一种简单的无奖励对齐过程，使得编码器能够在测试时快速适应。通过模拟基准测试和真实环境中的实验，作者展示了该方法的有效性。

本研究重新审视了连续学习基准，发现模型表示会经历较小的表示忘却，并探讨了其对模型容纳能力和损失函数的影响。研究提出了一种简单但竞争力强的方法，即通过有监督对比学习来学习表示。

本研究提出了一种有效缓解多语言神经机器翻译中零翻译问题的方法，通过移除编码器层中的残差连接，使模型表示更加与特定语言对应。在零翻译任务中，我们获得了18.5个BLEU点的提升，并在其他有监督的翻译中保持了高质量表现。通过对隐藏层输出的检查，我们证明了该方法能够获得更多的语言无关性。