机器之心数据服务已上线，提供高效稳定的数据获取，简化数据爬取流程。

本研究提出了一种有效的超参数调优方法μP，应用于扩散变换器，显著提升了模型的收敛速度和扩展性，尤其在文本到图像生成任务中表现突出，同时降低了调优成本。

本研究提出了一种SUS反向传播算法，旨在提高变换器架构中长序列的计算效率。通过控制参数$c$，该算法切断大部分注意力权重的反向传播，将复杂度从$O(n^2)$降低到$O(nc)$，显著提升训练效率。

本研究探讨了深度正则化的ResNet和Transformer中的神经崩溃现象，发现经过训练的全局最优解接近崩溃状态，且随着网络深度增加，这种近似更加紧密。这一发现为深度模型的应用提供了理论支持，并在计算机视觉和语言数据集上进行了验证。

本研究提出了一种新颖的脉冲变压器强化学习（STRL）算法，旨在解决传统变压器在自主系统中的能耗问题。该算法结合了脉冲神经网络的能效与强化学习的决策能力，显著优于传统方法，展示了生物启发的低成本机器学习模型在复杂决策中的潜力。

本研究探讨了变压器模型的两种学习模式：权重内学习（IWL）和上下文学习（ICL）。结果表明，环境的可预测性影响这两种模式的平衡。在高稳定性环境中，IWL更有效，而在低稳定性环境中，ICL更具优势。这为学习模式的转换和训练方法的改进提供了新见解。

本研究提出了反事实推理决策变换器（CRDT），解决了决策变换器在离线数据集上因数据不足导致的性能问题。实验结果表明，CRDT在数据受限和动态变化的情况下优于传统方法，展示了反事实推理在强化学习中的潜力。

本研究提出了一种二维语义感知位置编码（$ ext{SaPE}^2$），有效解决了现有位置编码无法捕捉图像补丁间语义关系的问题，从而显著提升了模型的泛化能力和视觉任务性能。

本文探讨了自注意力机制在图信号处理中的局限性，提出了一种新方法——注意力图滤波器（AGF），通过奇异值域建模，提高了频率信息的利用效率。实验结果表明，AGF在多个任务中表现优异。

本研究分析了视觉变压器在标签噪声条件下的表现，结果显示大模型在分类准确性和校准效果上优于小模型，为资源受限环境的应用提供了指导。

本研究提出了JointDiT模型，通过扩散变换器增强RGB和深度的联合建模。采用自适应调度权重和不平衡时间步采样策略，JointDiT显著提升了图像生成和深度估计的性能，展现了在多种生成任务中的应用潜力。

本研究提出了一种新的纵向表转换器（LTT）模型，以提高电力供应商在自然灾害中估计电力恢复时间（ETR）的准确性。分析了34,000个故障事件后，LTT模型的客户满意度指标平均提高了19.08%。

本研究提出了一种基于变换器的多模态框架，旨在提高医疗器械风险分类的准确性。该框架结合文本和视觉信息，利用跨注意力机制和自我训练策略，在有限监督下实现更好的泛化，实验结果显示准确率高达90.4%。