BriefGPT - AI 论文速递 ·

ResQ：具有低秩残差的超大语言模型混合精度量化

💡 原文中文，约300字，阅读约需1分钟。

📝

内容提要

本研究提出了一种新颖的ResQ方法，旨在解决超大语言模型后训练量化中的高量化误差问题。通过主成分分析，ResQ在低秩子空间中优化激活系数，实现最佳混合精度量化，表现优异。

🏷️

大语言模型的盲区：为何模型会遗忘提示词中间的内容
大语言模型存在“中间迷失”现象：关键信息位于长提示词中部时易被忽略，准确率呈U形曲线，开头和结尾表现更好。原因是注意力机制更偏向早期和临近结尾的信息，扩大...
Over my dead pencil
Two weeks ago at Rails World, I told my fellow programmers that it's time...
软件开发效率的数学原理
文章通过数学模型比较主干开发与特性分支开发。特性分支中，每个补丁冲突需解决全部后续补丁，测试成本随分支累积；主干开发各分支独立，冲突和测试成本仅限单个补丁...
OpenAI「疯狂28天」首日，这都发了些啥啊…
Flagged by the Machine: How Google Ads Suspended an Open-Source macOS Term as Malicious
Przemyslaw Alexander Kaminski created RACE, a Rust terminal multiplexer on an...
如何在数据管道中加密PII并保持其可搜索性
Intuit 在 TurboTax 报税数据处理中，需在保护 SSN 等敏感 PII 的同时支持等值查询。文章比较了概率加密、确定性加密、HMAC 和令牌...