➡️
继续阅读
-
一分钟读论文:《数据喂饱了,算法还饿着》
清华大学团队研究发现,在线蒸馏中仅用一条训练query即可覆盖全量数据71.5%的学生状态,恢复大部分收益。瓶颈不在数据供给,而在算法吸收效率。多教师设定...
-
数据并行与 ZeRO:三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeR...
-
结构化应用数据的Dataclasses
本文介绍Python dataclass如何替代易出错的配置字典,构建结构化、可维护的数据模型。涵盖组合嵌套记录、用default_factory处理可变...
-
Linux Kernel 7.1已经结束生命周期不再提供更新 用户应尽快升级到7.2系列
#系统资讯 Linux Kernel 7.1 系列最终版发布:Linux Kernel 7.1.13,至此 7.1 全系列结束生命周期支持。内核团队建议用...
-
用 ChatGPT 定时任务做一个 Hacker News 中文摘要网站
从定时任务到网站
-
CEO的1元年薪起源 - 编程一生
本文介绍了多个商业现象的起源:手机系统更新导致变慢源于安迪-比尔定理,即软件消耗硬件提升;CEO拿1元年薪始于克莱斯勒和乔布斯,象征共渡难关;公司延迟上市...