最近发布了用Rust编写的轻量级自动微分库ferris-grad。该库具有PyTorch风格的自动求导引擎，核心代码不到1000行，且无外部依赖。实现包括标量计算图、张量操作和神经网络层，支持训练多层感知机和mini GPT。项目灵感来源于Karpathy的micrograd和microgpt，欢迎参与贡献。

本文介绍了机器学习中自动微分的实现方法，通过将复杂函数拆解为基本运算构建计算图，以精确高效地计算导数。文章还展示了反向传播、梯度更新及优化器的实现，并提供了一个类似PyTorch的开源框架。

Hessian矩阵的计算在优化算法中至关重要。自动微分框架如PyTorch和TensorFlow可用于计算Hessian矩阵，它是函数梯度的Jacobian矩阵。尽管计算Hessian矩阵成本高，但在简单函数和小参数时仍然可行。

本研究探讨了组合同态自动微分（CHAD）在部分编程语言中的应用，重点关注非终止操作和循环结构的处理。通过引入迭代广泛的索引类别，提出了一种解释迭代的原则性方法，实现了反向模式导数的准确计算，并提供了严谨的范畴语义。

自动微分在深度学习中利用链式法则计算梯度，涉及雅可比矩阵和向量-雅可比积。正向模式和反向模式分别从前向和后向计算雅可比矩阵乘积，以优化存储和计算复杂度。

本研究探讨如何利用PyTorch自动微分计算大型语言模型的海森矩阵。研究表明，通过多个向量-海森积样本，可以有效计算海森矩阵的对角线，为理解大型语言模型的行为和结构提供重要资源。

PyTorch 是一个深度学习框架，张量是其核心数据结构，支持创建、运算、索引、切片和形状操作，具备 GPU 加速和自动微分功能。常用函数包括求和和均值，适合深度学习入门学习。

本研究提出了一种定制的自动微分管道，解决了基于梯度的突触可塑性在软件实现中的手动衍生问题，支持稀疏和在线实施，具备良好的内存利用率和扩展性。

Raddy是一个支持稠密和稀疏问题的自动微分系统。Arch是一个智能网关，旨在保护和个性化AI代理，处理提示相关任务，确保安全性和可观察性。

本研究探讨了最佳子集预言机学习集合函数，提出隐式微分方法以降低自动微分的计算开销，并在产品推荐和异常检测中验证了其高效性，显著提升了多个应用场景的效率。

自动微分是一种高效计算函数导数的方法，结合了符号和数值微分的优点。它通过构建有向无环图并使用链式法则计算梯度，广泛应用于深度学习库如TensorFlow和PyTorch。JAX是支持自动微分的高性能库，适用于机器学习和科学计算。本文探讨了自动微分在数值相对论中的应用，展示了如何用JAX计算度量张量的导数。

神经网络方法在解决偏微分方程方面具有优势，引入截断熵概念来表征训练性质，实验证明自动微分在训练速度上胜过有限差分法。

人工智能通过可微分编程取得了显著进展，可微分编程是建立在自动微分、图模型、优化和统计学等多个领域基础上的编程方法，通过优化和概率的视角介绍了两者之间的相似之处。它不仅仅是程序的微分，还包括为微分而设计的富有思考的程序，通过引入与程序输出相关的概率分布，提供了量化不确定性的手段。

本文介绍了一种改进的扩展动态模式分解与字典学习方法，用于预测复杂动力学特征系统的时间演化。该方法在不同系统中的性能表现显著优于传统方法，并且与状态空间方法的预测结果相当。

本文介绍了利用自动微分和数值线性代数技术实现的端到端非线性流形学习和密度估计方法，解决了流形上的体积变化问题，表现优越。

该论文介绍了一种将平滑解释与自动微分相结合的方法，以高效计算平滑程序的梯度。该方法在四个非平凡的问题上进行了比较，具有竞争力，在最高维问题中具有明显最快的收敛速度。