BriefGPT - AI 论文速递 ·

深度亚拉姆语：实现合成数据范式，在铭文学中开启机器学习

💡 原文中文，约300字，阅读约需1分钟。

📝

内容提要

该研究使用合成数据的方法为古代亚述文字符号生成了大规模的数据集，以此训练人工神经网络提高掌握这些古代碑文的能力。验证实该模型在处理真实场景中的能力，并证明了合成数据方法的可行性，提高了对受损碑文的解读准确性和对历史资源的知识提取。

🏷️

一分钟读论文：《数据喂饱了，算法还饿着》
清华大学团队研究发现，在线蒸馏中仅用一条训练query即可覆盖全量数据71.5%的学生状态，恢复大部分收益。瓶颈不在数据供给，而在算法吸收效率。多教师设定...
数据并行与 ZeRO：三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片（优化器状态、梯度、权重）减少显存占用，前两级不增通信量，第三级需额外all-gather。ZeR...
DeepSeek-V4 模型结构（4）：深度维度，mHC
该文详解DeepSeek-V4的mHC残差结构：将单条残差流拓宽为4条，通过读、写、混三算子连接子层。为保稳定，混合矩阵被约束为双随机矩阵（非负、行和列和...
Kimi K3 模型结构（4）：深度维度，Attention Residuals
本文解析Kimi K3模型中的Attention Residuals（注意力残差）结构。该机制将残差连接视为深度方向上的RNN，通过可学习伪query对e...
结构化应用数据的Dataclasses
本文介绍Python dataclass如何替代易出错的配置字典，构建结构化、可维护的数据模型。涵盖组合嵌套记录、用default_factory处理可变...
Linux Kernel 7.1已经结束生命周期不再提供更新用户应尽快升级到7.2系列
Linux Kernel 7.1系列已结束支持，最终版7.1.13于9月2日发布，含76项修复。该非LTS版本生命周期短，官方建议用户升级至7.2系列或L...