最近发布了用Rust编写的轻量级自动微分库ferris-grad。该库具有PyTorch风格的自动求导引擎，核心代码不到1000行，且无外部依赖。实现包括标量计算图、张量操作和神经网络层，支持训练多层感知机和mini GPT。项目灵感来源于Karpathy的micrograd和microgpt，欢迎参与贡献。

本文介绍了机器学习中自动微分的实现方法，通过将复杂函数拆解为基本运算构建计算图，以精确高效地计算导数。文章还展示了反向传播、梯度更新及优化器的实现，并提供了一个类似PyTorch的开源框架。

Hessian矩阵的计算在优化算法中至关重要。自动微分框架如PyTorch和TensorFlow可用于计算Hessian矩阵，它是函数梯度的Jacobian矩阵。尽管计算Hessian矩阵成本高，但在简单函数和小参数时仍然可行。

本研究探讨了组合同态自动微分（CHAD）在部分编程语言中的应用，重点关注非终止操作和循环结构的处理。通过引入迭代广泛的索引类别，提出了一种解释迭代的原则性方法，实现了反向模式导数的准确计算，并提供了严谨的范畴语义。

自动微分在深度学习中利用链式法则计算梯度，涉及雅可比矩阵和向量-雅可比积。正向模式和反向模式分别从前向和后向计算雅可比矩阵乘积，以优化存储和计算复杂度。

本研究探讨如何利用PyTorch自动微分计算大型语言模型的海森矩阵。研究表明，通过多个向量-海森积样本，可以有效计算海森矩阵的对角线，为理解大型语言模型的行为和结构提供重要资源。

PyTorch 是一个深度学习框架，张量是其核心数据结构，支持创建、运算、索引、切片和形状操作，具备 GPU 加速和自动微分功能。常用函数包括求和和均值，适合深度学习入门学习。

本研究提出了一种定制的自动微分管道，解决了基于梯度的突触可塑性在软件实现中的手动衍生问题，支持稀疏和在线实施，具备良好的内存利用率和扩展性。

Raddy是一个支持稠密和稀疏问题的自动微分系统。Arch是一个智能网关，旨在保护和个性化AI代理，处理提示相关任务，确保安全性和可观察性。

本研究探讨了最佳子集预言机学习集合函数，提出隐式微分方法以降低自动微分的计算开销，并在产品推荐和异常检测中验证了其高效性，显著提升了多个应用场景的效率。

自动微分是一种高效计算函数导数的方法，结合了符号和数值微分的优点。它通过构建有向无环图并使用链式法则计算梯度，广泛应用于深度学习库如TensorFlow和PyTorch。JAX是支持自动微分的高性能库，适用于机器学习和科学计算。本文探讨了自动微分在数值相对论中的应用，展示了如何用JAX计算度量张量的导数。

本研究比较了不同敏感性分析方法的性能，发现前向模式自动微分在ODE参数估计和神经微分方程拟合中更有效。随着模型规模增大，连续伴随方法表现更佳，但存在内存与性能的权衡。此外，提出了一种结合伴随灵敏度方法的随机微分方程梯度计算新方法，应用于神经网络的随机动力学拟合，展现出竞争性性能。

本文介绍了可微编程及其在机器学习中的应用，提出了稳定的张量分解自动微分方法和反向传播技术，应用于Ising和Heisenberg模型，取得了良好的优化效果。同时探讨了自动微分与非平滑函数的关系，并提出了无辅助数据结构的反向模式实现，强调了可微编程语言在高性能模拟器中的重要性。

本文介绍了一种改进的扩展动态模式分解与字典学习方法，用于预测复杂动力学特征系统的时间演化。该方法在不同系统中的性能表现显著优于传统方法，并且与状态空间方法的预测结果相当。

本文介绍了利用自动微分和数值线性代数技术实现的端到端非线性流形学习和密度估计方法，解决了流形上的体积变化问题，表现优越。