本文探讨了在Transformer模型中将点积结果除以√d_k的原因。这一操作旨在避免softmax函数饱和，确保梯度有效传播。通过数学推导，证明了点积的方差为d_k，缩放后方差归一化为1，从而保持训练的稳定性。文章还讨论了不同维度下的训练效果及现代优化器如何与√d_k的设计结合，以提升模型性能。

文章讨论了优化器的选择与学习率的调整，指出不同任务对优化器的需求。SGD在某些视觉任务上优于Adam，学习率过小可能导致训练缓慢和局部极小值问题。此外，梯度消失与爆炸仍是深度学习中的挑战，需要理解其在现代架构中的表现。

本文介绍了机器学习中自动微分的实现方法，通过将复杂函数拆解为基本运算构建计算图，以精确高效地计算导数。文章还展示了反向传播、梯度更新及优化器的实现，并提供了一个类似PyTorch的开源框架。

PostgreSQL 18引入了多列B树索引的跳过扫描功能，显著增强了优化器。在低基数情况下，跳过扫描能显著提升查询速度，而在高基数情况下，全索引扫描仍然更优。

最近笔者刷到论文《Why Adam Works Better with β1=β2: The Missing Gradient Scale Invariance Principle》，顾名思义，...

文章讨论了客户在批处理后首次执行查询时速度缓慢的问题。分析显示，查询计划在两次执行中不同，主要由于连接策略变化：首次使用合并连接，第二次使用嵌套循环连接。尽管表未清理或分析，优化器行为仍不同，导致执行时间差异。最后，作者提供了重现此现象的脚本。

谷歌新论文《嵌套学习：深度学习架构的幻象》指出，大型语言模型存在“数字失忆症”，无法有效记忆新知识。研究强调优化器不仅是训练工具，更是记忆系统，提出“嵌套学习”新范式，强调模型深度与更新频率的平衡。新架构HOPE模仿人脑记忆机制，展现了解决持续学习问题的潜力，可能改变AI设计逻辑。

自去年提出的Muon优化器已在多个训练框架中应用，表现优异。本文介绍了从Adam切换到Muon的技术细节，包括不同版本的参数设置和注意事项。Muon专注于矩阵参数优化，用户需了解输入输出维度的定义以确保正确使用。

在MySQL的连表查询中，驱动表和被驱动表的选择会影响查询性能。驱动表通常数据量小且能有效利用索引，优化器会根据数据量、索引和过滤条件来决定驱动表。使用EXPLAIN可以帮助分析和优化查询。

本文分析了MySQL中IS NULL和IS NOT NULL查询条件的索引使用情况。通过实例发现，索引的使用与数据量和分布有关，优化器根据执行成本决定是否使用索引，而非仅依据查询条件。总结指出，尽管理论上这两种条件都可能使用索引，但实际情况需结合具体数据分析。

本文探讨了动量机制对优化器（如SignSGD和Adam）学习率与Batch Size关系的影响。动量通过对梯度的滑动平均，等效于放大Batch Size，从而影响学习率的调整。研究表明，动量的引入使学习率与Batch Size之间的关系更加复杂，尤其在Adam中表现出新的特性。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，简化数据爬取流程。