本文介绍了机器学习中自动微分的实现方法，通过将复杂函数拆解为基本运算构建计算图，以精确高效地计算导数。文章还展示了反向传播、梯度更新及优化器的实现，并提供了一个类似PyTorch的开源框架。

PostgreSQL 18引入了多列B树索引的跳过扫描功能，显著增强了优化器。在低基数情况下，跳过扫描能显著提升查询速度，而在高基数情况下，全索引扫描仍然更优。

最近笔者刷到论文《Why Adam Works Better with β1=β2: The Missing Gradient Scale Invariance Principle》，顾名思义，...

文章讨论了客户在批处理后首次执行查询时速度缓慢的问题。分析显示，查询计划在两次执行中不同，主要由于连接策略变化：首次使用合并连接，第二次使用嵌套循环连接。尽管表未清理或分析，优化器行为仍不同，导致执行时间差异。最后，作者提供了重现此现象的脚本。

谷歌新论文《嵌套学习：深度学习架构的幻象》指出，大型语言模型存在“数字失忆症”，无法有效记忆新知识。研究强调优化器不仅是训练工具，更是记忆系统，提出“嵌套学习”新范式，强调模型深度与更新频率的平衡。新架构HOPE模仿人脑记忆机制，展现了解决持续学习问题的潜力，可能改变AI设计逻辑。

自去年提出的Muon优化器已在多个训练框架中应用，表现优异。本文介绍了从Adam切换到Muon的技术细节，包括不同版本的参数设置和注意事项。Muon专注于矩阵参数优化，用户需了解输入输出维度的定义以确保正确使用。

在MySQL的连表查询中，驱动表和被驱动表的选择会影响查询性能。驱动表通常数据量小且能有效利用索引，优化器会根据数据量、索引和过滤条件来决定驱动表。使用EXPLAIN可以帮助分析和优化查询。

本文分析了MySQL中IS NULL和IS NOT NULL查询条件的索引使用情况。通过实例发现，索引的使用与数据量和分布有关，优化器根据执行成本决定是否使用索引，而非仅依据查询条件。总结指出，尽管理论上这两种条件都可能使用索引，但实际情况需结合具体数据分析。

本文探讨了动量机制对优化器（如SignSGD和Adam）学习率与Batch Size关系的影响。动量通过对梯度的滑动平均，等效于放大Batch Size，从而影响学习率的调整。研究表明，动量的引入使学习率与Batch Size之间的关系更加复杂，尤其在Adam中表现出新的特性。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，简化数据爬取流程。

本文探讨了学习率与Batch Size的关系，尤其是在非SGD优化器中的复杂性。作者回顾了以往的分析方法，简化了推导步骤，并研究了Muon优化器的潜力。通过对SGD的分析，得出了学习率的理论最优解，指出Batch Size与训练数据量和步数的关系，并强调了噪声强度对学习率的影响。

机器之心数据服务已上线，提供高效稳定的数据获取，简化爬取流程。