2026年，软件股遭遇熔断，投资者恐慌抛售。英伟达CEO黄仁勋表示，AI不会取代软件，反而需要软件作为基础设施。传统软件正被AI Agent取代，未来将以智能Agent和数据库为核心，软件形态将进化，旧软件需适应新生态。

本研究解决了现代神经网络中重复激活所有神经元所导致的计算冗余和低效问题。论文提出了一种新颖的矩阵插值丢弃层（MID-L），通过学习的输入依赖门控向量，在两个变换路径之间动态选择和激活最有信息的神经元，从而实现每个输入的自适应计算。研究结果显示，MID-L在六个基准测试中实现了平均55%的活跃神经元减少和1.7倍的计算量节省，并保持或超越了基线准确性，展现了其在研究和有限计算资源系统上的广泛应用潜力。

本研究探讨大型语言模型中间层的潜力，认为中间层能够编码更丰富的特征，从而提升多种任务的性能。通过建立统一的表示质量度量框架，挑战了对最终层的传统重视，为模型分析与优化提供了新思路。

该研究探讨了大型语言模型（LLMs）的提示设计、模型深度和信息编码对人类认知建模的影响。结果表明，提示格式的变化对模型性能敏感，深度模型在语言建模方面表现更佳。此外，研究揭示了模型层的重要性及其上下文编码能力，并提出了新的评估模型表现的方法，为未来研究奠定基础。

研究提出了一种名为“深度混合”（MoD）的新框架，专注于大语言模型中间层的训练，提升了预测能力和性能。实验表明，MoD在多种任务中表现优异，优化了参数的可训练性。

研究发现，大型语言模型存在社会人口统计学偏见，即使拒绝回答。通过逻辑Bradley-Terry探测器，可以预测模型中的单词对偏好。研究发现，模型在中间层中表现最有效，但仍存在国籍、政治、宗教和性别方面的偏见。微调不能完全削弱模型的偏见。

研究者提出了分层选择性反馈蒸馏（HLFD）方法，用于医学成像任务中的知识蒸馏。通过从中间层到较早层的蒸馏，以及将最终层的知识转移到中间层，生成稳健且紧凑的学生模型。HLFD方法在肾脏分割任务中优于现有方法，提升了10个百分点以上，并改善了对肿瘤特征的关注。使用HLFD训练的学生模型能够抑制不相关信息，聚焦于肿瘤特定细节，为更高效准确的诊断工具开辟了新路径。

本文介绍了抽象层的概念，包括自然层、中间层和人类层。作者指出，在解决问题时，应该清晰地认识到自己所处的抽象层，并独立于个人偏好来定义其抽象。同时，作者也提醒读者不要忽略不舒服的抽象层，因为所有抽象概念都会在层与层之间泄漏。

本文提出了一种基于D-adapt的跨域目标检测方法，通过对抗性适应性和检测器训练的分离来消除前景和背景特征的混淆，并通过引入边界框适配器来填补物体检测中回归域适应的空白。该方法在四项跨领域目标检测任务中取得了最先进的结果，并在特别是Clipart 1k和Comic 2k这两个基准数据集上相对提高了17％和21％。

该项目将大量使用 SQL Server 的存储过程迁移到 MySQL 上，通过中间层处理请求并同步数据，最终只保留很少的 SQL Server 资源，降低成本。新业务只在 MySQL 上开展。

A blog built with SvelteKit about tech and stuff!