本文介绍OLAP查询规划器与优化器的实现，涵盖三个阶段：绑定器解析名称和类型、优化器通过谓词下推、常量折叠和投影下推提升效率、物理规划器将逻辑算子映射为可执行算子。以DuckDB为例，展示逻辑计划树构建及优化过程，最终减少数据处理量，提高查询性能。

本文讨论了优化器在 SQL 查询中的重要性，特别是 Apache Calcite 和 Trino 的关系。Calcite 提供逻辑计划和优化规则，而 Trino 则采用自研规划器，借鉴 Calcite 的代数思想。文章还介绍了物理计划的执行约定、优化规则及其在 Trino 中的实现，强调了优化阶段的流水线和调试手段。

本文讨论了MySQL 8.0.36中优化器与处理器的关系，重点介绍了索引条件下推（ICP）和多范围读取（MRR）机制。ICP通过在二级索引上过滤条件来减少回表次数，而MRR则通过批量收集主键来优化IO性能。文章分析了优化器如何利用统计信息选择索引，并使用EXPLAIN分析执行计划。同时，强调了MySQL与PostgreSQL在处理机制上的差异。

本文探讨了在Transformer模型中将点积结果除以√d_k的原因。这一操作旨在避免softmax函数饱和，确保梯度有效传播。通过数学推导，证明了点积的方差为d_k，缩放后方差归一化为1，从而保持训练的稳定性。文章还讨论了不同维度下的训练效果及现代优化器如何与√d_k的设计结合，以提升模型性能。

文章讨论了优化器的选择与学习率的调整，指出不同任务对优化器的需求。SGD在某些视觉任务上优于Adam，学习率过小可能导致训练缓慢和局部极小值问题。此外，梯度消失与爆炸仍是深度学习中的挑战，需要理解其在现代架构中的表现。

本文介绍了机器学习中自动微分的实现方法，通过将复杂函数拆解为基本运算构建计算图，以精确高效地计算导数。文章还展示了反向传播、梯度更新及优化器的实现，并提供了一个类似PyTorch的开源框架。

PostgreSQL 18引入了多列B树索引的跳过扫描功能，显著增强了优化器。在低基数情况下，跳过扫描能显著提升查询速度，而在高基数情况下，全索引扫描仍然更优。

最近笔者刷到论文《Why Adam Works Better with β1=β2: The Missing Gradient Scale Invariance Principle》，顾名思义，...

文章讨论了客户在批处理后首次执行查询时速度缓慢的问题。分析显示，查询计划在两次执行中不同，主要由于连接策略变化：首次使用合并连接，第二次使用嵌套循环连接。尽管表未清理或分析，优化器行为仍不同，导致执行时间差异。最后，作者提供了重现此现象的脚本。

谷歌新论文《嵌套学习：深度学习架构的幻象》指出，大型语言模型存在“数字失忆症”，无法有效记忆新知识。研究强调优化器不仅是训练工具，更是记忆系统，提出“嵌套学习”新范式，强调模型深度与更新频率的平衡。新架构HOPE模仿人脑记忆机制，展现了解决持续学习问题的潜力，可能改变AI设计逻辑。

自去年提出的Muon优化器已在多个训练框架中应用，表现优异。本文介绍了从Adam切换到Muon的技术细节，包括不同版本的参数设置和注意事项。Muon专注于矩阵参数优化，用户需了解输入输出维度的定义以确保正确使用。