This essay was originally published on The Sidebar, Mozilla’s Substack. When I started my newsletter, as seen on, a little over a year ago, it was because in the absence of early morning commutes,...

本研究提出了一种SUS反向传播算法，旨在提高变换器架构中长序列的计算效率。通过控制参数$c$，该算法切断大部分注意力权重的反向传播，将复杂度从$O(n^2)$降低到$O(nc)$，显著提升训练效率。

本文研究了物理模型替代建模中的数据生成不平衡问题，提出了一种自适应采样算法（ASADG），通过优化输入数据选择，提高了替代建模的准确性和效率。研究表明，ASADG在数据生成方面优于传统方法。

本研究提出了一种创新的隐私保护对齐算法DP-AdamW，旨在解决大型语言模型对齐中的隐私问题。在中等隐私预算下，该算法结合直接偏好优化(DPO)，使对齐质量提升15%，为隐私保护与对齐效率的平衡提供了实用指导。

本研究提出了GroverGPT-2模型，旨在解决经典机器学习与模拟量子算法的问题。该模型基于大语言模型，能够处理量子电路表示，提供逻辑结构和可解释性。研究表明，GroverGPT-2有效捕获量子电路的逻辑，为量子计算的教育和研究开辟了新方向。

本研究提出了一种算法，通过混合整数线性规划计算非线性离散时间神经反馈环的反向低估可达集，以提升学习驱动的规划和控制算法的性能与安全性，并增强系统的可验证性。

本文提出了一种新的成员推断攻击方法LBRM，旨在解决生成模型在时间序列插补中无意记忆训练数据的问题。该方法通过参考模型提高了攻击的准确性，未调优时AUROC提升约40%，调优后提升至约60%，有效应对隐私风险。

本文提出了一种适应性预算多臂老虎机算法，旨在解决物联网设备在动态资源约束下的实时响应问题。该算法通过衰减预算违反来增强遵从性，并结合预算上置信界（UCB）算法优化性能与适应性，展现出比传统方法更快的适应能力和更好的约束满足，具有构建自适应物联网系统的潜力。

本研究提出了一种基于深度学习的猴痘自动检测框架，采用Xception架构和非洲秃鹫算法，猴痘皮肤损伤图像分类准确率达到97.53%，显著提升了诊断效率和可解释性。

本研究提出了QAOA-GPT框架，通过生成预训练变换器直接合成量子电路，以优化二次无约束二进制问题。结果表明，该方法显著降低了经典QAOA的计算开销，展示了生成式人工智能在量子电路生成中的潜力。

本研究提出了一种简单的调度方法，通过迭代选择在未解决问题上表现最佳的算法，优化数值黑箱问题的求解器调度，成为动态算法选择模型的基准。

本研究提出了一种名为“搜索轻蔑”的混合MCTS算法，旨在提高AlphaZero类引擎的计算效率。该算法通过优先生成更具挑战性的局面，显著提升了在Odds Chess中的表现，并减少了训练所需的计算资源和时间，展现了高效自我训练的潜力。

本文探讨了智能城市中声源分离的挑战，特别是在有限训练数据下的复杂声景分析。提出的量子启发式遗传算法（p-QIGA）利用量子信息理论，显著提升了声源分离的有效性，实验结果显示其在噪声环境中表现优异，具备良好的抗干扰能力。

本研究针对算法选择和参数化（ASP）方法的评估不足，提供了全面综述，建立了包含400万个模型的知识基准，并对8种分类算法在400个数据集上的表现进行了比较。这将推动自动机器学习（AutoML）的发展。

本研究提出了一种名为RLBayes的算法，旨在解决贝叶斯网络结构学习中的搜索空间问题。该算法基于强化学习，通过动态维护Q表来指导学习，理论和实验结果表明其在全局最优结构收敛性和效果上优于其他启发式搜索算法。

本研究提出了一种新的信任区域偏好近似（TRPA）算法，旨在解决偏好优化算法在推理任务中的不足。TRPA结合了规则基优化与偏好基优化，消除了奖励黑客问题，并在推理任务中展现出竞争力和稳定性，具有显著的应用潜力。

本研究提出了CO-Bench基准套件，包含36个实际组合优化问题，旨在评估大规模语言模型（LLM）在组合优化中的应用。通过与传统算法的对比，揭示了现行方法的优缺点，并指出了未来的研究方向。

本研究提出了一种新型多智能体强化学习算法Loc-FACMAC，解决了去中心化系统中个体机器人动作评估不准确的问题。通过引入邻域概念，显著提高了策略评估的精准度，实验结果表明其性能优于现有算法，提升幅度可达108%。