阿里巴巴达摩院与宾夕法尼亚大学合作提出了一种新的编码Agent基础模型中期训练方法FIM Mid-Training。该方法通过自监督学习，利用从GitHub抽取的2.6B token数据，增强模型对函数调用的理解。实验结果表明，模型在多个基准测试中显著提升了性能，并有效缓解了工具调用微调对编码能力的负面影响。

语音增强（SE）面临数据、目标和任务等挑战，自监督学习（SSL）逐渐成为解决方案。SSL通过未配对数据学习和生成式方法，重塑了SE的训练目标。研究表明，SSL特征在增强任务中有效，未来将关注多任务统一增强、低信噪比生成模型及可控的语音生成。整体来看，SSL为SE提供了更强的先验和设计空间。

本文提出了一种针对低资源语言（如泰语）的语音大语言模型（SLLM）多任务理解方案，核心创新包括自监督学习的语音编码器XLSR-Thai、通用语音-文本对齐方法U-Align，以及泰语口语理解数据生成流水线Thai-SUP。实验结果表明，该方案有效提升了泰语的自动语音识别和多任务理解能力，为低资源语言的SLLMs构建提供了新路径。

研究团队提出了一种新型神经元模型ReSU，克服了传统深度学习的局限。ReSU通过自监督学习和时间动态性，模拟生物神经元特性，展现出更高的能效和更好的泛化能力，为AI发展提供新方向，并有助于理解生物系统的工作原理。

本文介绍了一种名为PART的自监督学习方法，旨在通过连续相对变换克服传统网格结构在物体组成学习中的局限性。PART能够适应部分可见性和风格变化，在物体检测和时间序列预测等任务中表现优于基于网格的方法，具有在医学成像、视频和音频等领域的潜力。

自监督学习（SSL）是一种无标签样本的机器学习方法。本文提出高斯过程自监督学习（GPSSL），通过高斯过程模型改进表示学习，克服传统SSL在生成相似观察对和不确定性量化方面的局限。GPSSL引入高斯先验，优化表示空间，实验结果显示其在分类和回归任务中优于传统方法，提高了准确性和不确定性控制。

嵌入表示是处理非结构化数据的有效工具，广泛应用于机器学习。本文介绍了十种利用嵌入的策略，如编码分类特征、聚合文本嵌入、聚类和自监督学习等，旨在提高数据利用效率和模型性能。

本文介绍了一种新的自监督学习方法——成对相对位移预训练（PARS），用于从未标记的脑电图（EEG）信号中学习表示。PARS通过预测随机采样的EEG窗口对之间的相对时间位移，捕捉神经信号中的长程依赖性。研究表明，PARS预训练的变换器在标签效率和迁移学习方面优于现有方法，为EEG表示学习建立了新范式。

菲利普·伊索拉研究人类智能与机器智能的关系，专注于计算机视觉和机器学习。他认为理解AI的智能机制有助于安全有效地将其融入社会，研究内容包括自监督学习和表示学习，旨在揭示人类与机器智能的共同点。

Skip 是一款用于简化 iOS 和 Android 应用开发的转译器，支持多模块管理，并与 Xcode 和 Android Studio 集成。Efficient-Computing 提供高效计算方法，支持模型压缩和自监督学习。nodejieba 是高效的中文分词库，支持多种算法。

本文介绍了一种新颖的自监督图表示学习架构，结合了对比学习和生成学习的优点。该框架通过社区感知的节点级和图级对比学习，生成更有效的节点对，并采用多种增强策略，提升了节点分类、聚类和链接预测等任务的性能。评估结果显示，该模型在多个任务上超越了现有最先进的方法。

本文介绍了如何构建一个仅解码器的变换器模型，类似于Meta的Llama-2和Llama-3。该模型专注于文本生成，通过自监督学习进行训练，使用古腾堡项目的小说作为数据集，最终能够根据输入提示生成连贯的文本。

Nubank利用基础模型处理大量金融数据，通过自监督学习自动提取用户行为特征，从而提升信用评分、个性化推荐和欺诈检测的预测性能。该系统整合了交易数据和结构化特征，优化了模型的开发与应用效率。