本研究分析了预训练语言模型中的性别偏见，揭示了不同模型在性别编码上的一致性，并指出常见去偏见技术效果有限，甚至可能加剧偏见，为改善偏见缓解策略提供了指导。

本研究提出Astromer 2模型，解决光曲线分析中的模型表示不足问题。该模型通过自监督学习在150万条光曲线数据上预训练，并在小型标注数据集上微调，显著提升性能，尤其在样本较少时F1分数提高15%。

本研究探讨了下一标记预测对语言模式与模型表示几何属性映射的影响，发现NTP促进了稀疏加低秩结构的学习，可能导致表示在适当子空间中聚集。其他研究探讨了语境化表示的拓扑感知、大型语言模型中嵌入的信息编码、下一标记预测的隐性偏见等。还提出了构建无需固定词嵌入的语言模型、重新考虑预训练语言模型的词元嵌入及其定义等方法。

本文介绍了CroSSL、TriMix、DiffMix等多种自监督学习和半监督学习的新方法，旨在提升模型在少量标注数据下的性能。这些方法在多模态学习、连续学习和分类准确率方面表现优于现有技术，尤其在低数据情况下效果显著。

通过将自回归预测目标与构建预测充分统计量的思想联系起来，我们确定了三种情况下嵌入的最佳内容：独立同分布数据、潜在状态模型和离散假设空间，并进行实证研究表明 Transformers 编码了这三种潜在生成分布，并在这些情况下表现良好。

本文提出了一种基于Transformer的CAD生成模型，能够自动编码和生成3D形状，并创建了包含178,238个模型的CAD数据集。Model2Scene通过学习CAD模型与语言，解决了CAD模型与真实场景之间的领域差异，显著提升了无标签3D物体检测的性能。DiffCAD实现了从RGB图像中检索和对齐CAD模型的条件生成。

该文汇总多项自然语言处理研究：用知识图谱优化大模型并提出可解释集成学习IERL；提出命名实体识别可解释评估方法；用定义句训练变分自编码器解耦语法语义；DeViL将视觉特征解码为语言解释深度网络；u-LLaVA以LLM连接专家模型缓解多模态幻觉；分布式对齐搜索DAS用梯度下降发现模型间对齐；QKVAE分离句法角色；评估VAE潜在空间解缠；用注意力概率模型无监督拆分句法角色；RAVEn跨语言自监督视听预训练，多语言优于单语言。

本文综述机器学习可解释性研究，提出兼顾性能与可解释性的模块化框架，融合多种解释技术以揭示复杂模型决策过程。文章回顾了300多种内部可解释性技术，按权重、神经元、子网络等分类，并区分训练中与训练后方法。研究涵盖医疗图像、自然语言处理等领域，强调诊断、调试与基准测试的重要性，主张发展以人为本的解释方案，平衡准确性与可解释性。

本文介绍了使用Galaxy Zoo项目的机器学习模型，通过卷积神经网络从星系图像中提取特征并分类为螺旋形或椭圆形。模型与人类分类器比较后证明了其有效性，准确性高，有助于增强对星系形成和演化的理解。

本论文介绍了一种视觉模型驱动的强化学习方法，能够在动态环境中有效运行并对噪声和干扰具有弹性。作者还提出了一种简单的无奖励对齐过程，使得编码器能够在测试时快速适应。通过模拟基准测试和真实环境中的实验，作者展示了该方法的有效性。

本研究重新审视了连续学习基准，发现模型表示会经历较小的表示忘却，并探讨了其对模型容纳能力和损失函数的影响。研究提出了一种简单但竞争力强的方法，即通过有监督对比学习来学习表示。

本研究提出了一种有效缓解多语言神经机器翻译中零翻译问题的方法，通过移除编码器层中的残差连接，使模型表示更加与特定语言对应。在零翻译任务中，我们获得了18.5个BLEU点的提升，并在其他有监督的翻译中保持了高质量表现。通过对隐藏层输出的检查，我们证明了该方法能够获得更多的语言无关性。