小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
北大团队改造DeepSeek注意力,速度快四倍还不丢精度

北京大学团队提出的新稀疏注意力机制HISA,速度提升2-4倍,几乎不损失精度。该机制通过块级粗过滤和块内精挑字符,降低索引器成本,适应超长文本需求,工程友好性强。测试结果显示HISA在速度和精度上表现优异,未来可进一步优化块特征计算和训练方式。

北大团队改造DeepSeek注意力,速度快四倍还不丢精度

量子位 量子位 · 2026-04-06T15:25:48Z
国内最强生图模型Wan2.7-Image来了

Wan2.7-Image模型具备文生图、图生组图和图像编辑等全链路能力,超越GPT-Image1.5,支持超长文本渲染和多种颜色调控,适用于影视、自媒体和电商等行业,提升创作效率。

国内最强生图模型Wan2.7-Image来了

量子位 量子位 · 2026-04-01T09:34:25Z

MIT研究团队提出递归语言模型RLM,解决大模型在处理超长文本时的上下文腐烂问题。RLM通过交互式Python环境动态拆解任务,实现千万级token处理能力,显著提升推理性能,无需修改模型架构。

真·开外挂!MIT新研究:架构0改动,让大模型解锁千万级上下文

量子位 量子位 · 2026-01-19T03:59:54Z

TOKENSWIFT框架通过优化模型加载、KV缓存管理和Token生成策略,实现超长文本生成效率提升,生成10万Token仅需90分钟,传统方法需5小时,确保生成质量与多样性,支持DeepSeek-R1和QwQ,具有3倍加速效果。

90分钟生成10万Token,新框架实现3倍无损加速超长文本生成,支持DeepSeek-R1和QwQ!

量子位 量子位 · 2025-03-12T04:36:31Z

清华、厦大等提出的LLMxMapReduce技术突破了大模型的记忆限制,实现了“无限长”上下文。该技术通过将长文本切分为片段并并行处理,提取关键信息并汇总答案。实验表明,结合此框架的模型在处理超长文本时表现优异且速度较快,具有广泛的应用潜力。

清华厦大等提出“无限长上下文”技术,100万大海捞针全绿,Llama\Qwen\MiniCPM都能上分

量子位 量子位 · 2024-11-09T06:55:59Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码