2026年，软件股遭遇熔断，投资者恐慌抛售。英伟达CEO黄仁勋表示，AI不会取代软件，反而需要软件作为基础设施。传统软件正被AI Agent取代，未来将以智能Agent和数据库为核心，软件形态将进化，旧软件需适应新生态。

本研究解决了现代神经网络中重复激活所有神经元所导致的计算冗余和低效问题。论文提出了一种新颖的矩阵插值丢弃层（MID-L），通过学习的输入依赖门控向量，在两个变换路径之间动态选择和激活最有信息的神经元，从而实现每个输入的自适应计算。研究结果显示，MID-L在六个基准测试中实现了平均55%的活跃神经元减少和1.7倍的计算量节省，并保持或超越了基线准确性，展现了其在研究和有限计算资源系统上的广泛应用潜力。

本研究探讨大型语言模型中间层的潜力，认为中间层能够编码更丰富的特征，从而提升多种任务的性能。通过建立统一的表示质量度量框架，挑战了对最终层的传统重视，为模型分析与优化提供了新思路。

本研究提出了一种自注意时空校准（SASTC）方法，以解决脉冲神经网络（SNN）在低功耗计算中的准确性问题。实验结果表明，SASTC显著提升了SNN在CIFAR-10和CIFAR-100数据集上的表现，超越了人工神经网络（ANN）。

该研究分析了大型语言模型中的信息编码，发现表示熵与模型大小呈幂律关系。提出基于熵的理论，探讨自回归结构及标记关系，建立信息增益与岭回归的联系，并评估Lasso回归的有效性，结果显示信息分布广泛。

研究提出了一种名为“深度混合”（MoD）的新框架，专注于大语言模型中间层的训练，提升了预测能力和性能。实验表明，MoD在多种任务中表现优异，优化了参数的可训练性。

大型语言模型可能存在社会人口统计学偏见。研究者使用逻辑Bradley-Terry探测器来预测LLMs中的单词对偏好，并发现存在大量偏见。他们还发现在中间层中最有效。研究者计划将探测器从无害任务转移到有争议的任务上，以检查国籍、政治、宗教和性别方面的偏见。他们的代码库位于给定的URL。

研究发现，大型语言模型存在社会人口统计学偏见，即使拒绝回答。通过逻辑Bradley-Terry探测器，可以预测模型中的单词对偏好。研究发现，模型在中间层中表现最有效，但仍存在国籍、政治、宗教和性别方面的偏见。微调不能完全削弱模型的偏见。

研究者提出了分层选择性反馈蒸馏（HLFD）方法，用于医学成像任务中的知识蒸馏。通过从中间层到较早层的蒸馏，以及将最终层的知识转移到中间层，生成稳健且紧凑的学生模型。HLFD方法在肾脏分割任务中优于现有方法，提升了10个百分点以上，并改善了对肿瘤特征的关注。使用HLFD训练的学生模型能够抑制不相关信息，聚焦于肿瘤特定细节，为更高效准确的诊断工具开辟了新路径。

本文介绍了抽象层的概念，包括自然层、中间层和人类层。作者指出，在解决问题时，应该清晰地认识到自己所处的抽象层，并独立于个人偏好来定义其抽象。同时，作者也提醒读者不要忽略不舒服的抽象层，因为所有抽象概念都会在层与层之间泄漏。

本文提出了一种基于D-adapt的跨域目标检测方法，通过对抗性适应性和检测器训练的分离来消除前景和背景特征的混淆，并通过引入边界框适配器来填补物体检测中回归域适应的空白。该方法在四项跨领域目标检测任务中取得了最先进的结果，并在特别是Clipart 1k和Comic 2k这两个基准数据集上相对提高了17％和21％。

该项目将大量使用 SQL Server 的存储过程迁移到 MySQL 上，通过中间层处理请求并同步数据，最终只保留很少的 SQL Server 资源，降低成本。新业务只在 MySQL 上开展。

A blog built with SvelteKit about tech and stuff!