本文讨论了优化器在 SQL 查询中的重要性，特别是 Apache Calcite 和 Trino 的关系。Calcite 提供逻辑计划和优化规则，而 Trino 则采用自研规划器，借鉴 Calcite 的代数思想。文章还介绍了物理计划的执行约定、优化规则及其在 Trino 中的实现，强调了优化阶段的流水线和调试手段。

本文讨论了MySQL 8.0.36中优化器与处理器的关系，重点介绍了索引条件下推（ICP）和多范围读取（MRR）机制。ICP通过在二级索引上过滤条件来减少回表次数，而MRR则通过批量收集主键来优化IO性能。文章分析了优化器如何利用统计信息选择索引，并使用EXPLAIN分析执行计划。同时，强调了MySQL与PostgreSQL在处理机制上的差异。

本文探讨了在Transformer模型中将点积结果除以√d_k的原因。这一操作旨在避免softmax函数饱和，确保梯度有效传播。通过数学推导，证明了点积的方差为d_k，缩放后方差归一化为1，从而保持训练的稳定性。文章还讨论了不同维度下的训练效果及现代优化器如何与√d_k的设计结合，以提升模型性能。

文章讨论了优化器的选择与学习率的调整，指出不同任务对优化器的需求。SGD在某些视觉任务上优于Adam，学习率过小可能导致训练缓慢和局部极小值问题。此外，梯度消失与爆炸仍是深度学习中的挑战，需要理解其在现代架构中的表现。

本文介绍了机器学习中自动微分的实现方法，通过将复杂函数拆解为基本运算构建计算图，以精确高效地计算导数。文章还展示了反向传播、梯度更新及优化器的实现，并提供了一个类似PyTorch的开源框架。

PostgreSQL 18引入了多列B树索引的跳过扫描功能，显著增强了优化器。在低基数情况下，跳过扫描能显著提升查询速度，而在高基数情况下，全索引扫描仍然更优。

最近笔者刷到论文《Why Adam Works Better with β1=β2: The Missing Gradient Scale Invariance Principle》，顾名思义，...

文章讨论了客户在批处理后首次执行查询时速度缓慢的问题。分析显示，查询计划在两次执行中不同，主要由于连接策略变化：首次使用合并连接，第二次使用嵌套循环连接。尽管表未清理或分析，优化器行为仍不同，导致执行时间差异。最后，作者提供了重现此现象的脚本。

谷歌新论文《嵌套学习：深度学习架构的幻象》指出，大型语言模型存在“数字失忆症”，无法有效记忆新知识。研究强调优化器不仅是训练工具，更是记忆系统，提出“嵌套学习”新范式，强调模型深度与更新频率的平衡。新架构HOPE模仿人脑记忆机制，展现了解决持续学习问题的潜力，可能改变AI设计逻辑。

自去年提出的Muon优化器已在多个训练框架中应用，表现优异。本文介绍了从Adam切换到Muon的技术细节，包括不同版本的参数设置和注意事项。Muon专注于矩阵参数优化，用户需了解输入输出维度的定义以确保正确使用。

在MySQL的连表查询中，驱动表和被驱动表的选择会影响查询性能。驱动表通常数据量小且能有效利用索引，优化器会根据数据量、索引和过滤条件来决定驱动表。使用EXPLAIN可以帮助分析和优化查询。

本文分析了MySQL中IS NULL和IS NOT NULL查询条件的索引使用情况。通过实例发现，索引的使用与数据量和分布有关，优化器根据执行成本决定是否使用索引，而非仅依据查询条件。总结指出，尽管理论上这两种条件都可能使用索引，但实际情况需结合具体数据分析。