最近发布了用Rust编写的轻量级自动微分库ferris-grad。该库具有PyTorch风格的自动求导引擎，核心代码不到1000行，且无外部依赖。实现包括标量计算图、张量操作和神经网络层，支持训练多层感知机和mini GPT。项目灵感来源于Karpathy的micrograd和microgpt，欢迎参与贡献。

本文介绍了机器学习中自动微分的实现方法，通过将复杂函数拆解为基本运算构建计算图，以精确高效地计算导数。文章还展示了反向传播、梯度更新及优化器的实现，并提供了一个类似PyTorch的开源框架。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

Hessian矩阵的计算在优化算法中至关重要。自动微分框架如PyTorch和TensorFlow可用于计算Hessian矩阵，它是函数梯度的Jacobian矩阵。尽管计算Hessian矩阵成本高，但在简单函数和小参数时仍然可行。

本研究解决了量子机器学习中量子电路架构设计的难题，开发了一种可微分优化方法，能够自动优化传统电路参数和架构参数。研究表明，该框架在分类、时间序列预测和强化学习任务中，表现与人工设计的量子神经网络架构相当或更优，为量子增强神经网络的广泛应用提供了一种可扩展的自动化设计路径。

本研究探讨如何利用PyTorch自动微分计算大型语言模型的海森矩阵。研究表明，通过多个向量-海森积样本，可以有效计算海森矩阵的对角线，为理解大型语言模型的行为和结构提供重要资源。

本研究解决了现有深度学习模型在自主机器人接触式半导体表征中的像素精度定位不足和对大量标注数据的依赖问题。提出了一种自监督卷积神经网络，配备空间可微分损失函数，并结合形状先验，显著提高了有效接触姿态生成的精确性，提升幅度达到20%。该系统实现高效且可靠的全自动化半导体表征，可快速测量重要的新型半导体特性。

本文提出了一种高维非线性扩散过程中的参数推断方法，填补了现有研究的空白。通过利用得分匹配近似扩散桥，并在重要性采样器中使用，本文实现了对对数似然的估计。该方法的主要发现是提供了一个数值稳定的框架，可有效进行参数推断和扩散均值估计，具备广泛的生物数据应用潜力。

本文探讨了归纳逻辑编程（ILP）在机器学习中的应用，提出了解决泛化性差和可解释性不足的新方法。研究介绍了ILP的基本概念、学习模式，以及在公平招聘和金融欺诈检测中的应用，强调了递归程序学习和规则提取算法的有效性。

自动微分是一种高效计算函数导数的方法，结合了符号和数值微分的优点。它通过构建有向无环图并使用链式法则计算梯度，广泛应用于深度学习库如TensorFlow和PyTorch。JAX是支持自动微分的高性能库，适用于机器学习和科学计算。本文探讨了自动微分在数值相对论中的应用，展示了如何用JAX计算度量张量的导数。

非线性激活函数对深度神经网络很重要，选择合适的激活函数能提升性能。传统激活函数可能限制表达能力，因此可训练激活函数（TAFs）受到关注。论文提出了一种基于微分同胚变换的可训练激活函数DiTAC，虽然只引入少量参数，但在语义分割、图像生成等任务中表现优于现有激活函数。DiTAC结合CPAB变换，提供高效的非线性表达能力，适用于多种数据和任务。

本文介绍了多个机器人学习和模拟框架，如gradSim、Differentiable Stereopsis、VRDP和DiffGen。这些框架通过可微分物理模拟和渲染，提升了机器人在视觉理解和物理模型推断方面的表现，研究表明其在真实场景中具有较高的成功率和鲁棒性，推动了机器人技术的发展。

本研究提出了一种新颖的分层预测-校正方案，结合神经网络与偏微分方程（PDE），有效控制复杂非线性物理系统。通过可微求解器和优化算法，模型能够准确满足物理约束，提升计算效率和训练稳定性。同时，研究探讨了生成合成训练数据的方法，推动了机器学习与PDE的结合，简化了模型耦合和代码生成。

该研究提出了多种优化神经网络的方法，如BinaryConnect、三进制权重网络（TWNs）和FLightNNs，旨在提升深度学习性能，减少计算开销和内存使用。研究表明，通过不同的量化方案和混合神经网络结构，在多个数据集上实现了优于传统模型的分类性能和效率，尤其在边缘设备上表现突出。

该研究解决了现有因果顺序发现方法在处理大规模数据集时的计算复杂性和不可微性的问题。通过重新构建现有算法，提出可微的排序与排名技术，使因果顺序的优化变得可扩展，提升了因果发现算法的表现。研究成果显示，与因果顺序正则化相结合的算法在微分模型训练中具有显著优势，推动了因果学习的进展。

本研究提出了一种随机平滑理论，用于在不可微函数中进行梯度估计。该方法无需可微密度或完整支持，提供了通用框架，有效减少梯度估计的方差。

本文介绍了多种基于神经网络的语音合成技术，如ExcitNet、DDSP、NeuralDPS和CoMoSpeech。这些方法结合深度学习与传统信号处理，提升了语音合成的质量和效率，并在可控性和生成速度上表现优异。同时，研究探讨了自监督学习与语音生成的关系，为未来人工智能技术的发展提供了新思路。

TorchMD是一个结合经典与机器学习的分子模拟框架，提升了数据驱动模型的质量。研究提出了DiffTRe方法和Allegro算法，分别用于神经网络势函数学习和高精度能量预测。基于机器学习的原子间势函数在材料建模中发挥重要作用，合成数据集的预训练有助于提高模型精度。新框架s-NNP结合了样条势与神经网络，增强了可解释性和跨系统分析能力。