小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
北大团队改造DeepSeek注意力,速度快四倍还不丢精度

北京大学团队提出的新稀疏注意力机制HISA,速度提升2-4倍,几乎不损失精度。该机制通过块级粗过滤和块内精挑字符,降低索引器成本,适应超长文本需求,工程友好性强。测试结果显示HISA在速度和精度上表现优异,未来可进一步优化块特征计算和训练方式。

北大团队改造DeepSeek注意力,速度快四倍还不丢精度

量子位
量子位 · 2026-04-06T15:25:48Z
国内最强生图模型Wan2.7-Image来了

Wan2.7-Image模型具备文生图、图生组图和图像编辑等全链路能力,超越GPT-Image1.5,支持超长文本渲染和多种颜色调控,适用于影视、自媒体和电商等行业,提升创作效率。

国内最强生图模型Wan2.7-Image来了

量子位
量子位 · 2026-04-01T09:34:25Z

MIT研究团队提出递归语言模型RLM,解决大模型在处理超长文本时的上下文腐烂问题。RLM通过交互式Python环境动态拆解任务,实现千万级token处理能力,显著提升推理性能,无需修改模型架构。

真·开外挂!MIT新研究:架构0改动,让大模型解锁千万级上下文

量子位
量子位 · 2026-01-19T03:59:54Z

TOKENSWIFT框架通过优化模型加载、KV缓存管理和Token生成策略,实现超长文本生成效率提升,生成10万Token仅需90分钟,传统方法需5小时,确保生成质量与多样性,支持DeepSeek-R1和QwQ,具有3倍加速效果。

90分钟生成10万Token,新框架实现3倍无损加速超长文本生成,支持DeepSeek-R1和QwQ!

量子位
量子位 · 2025-03-12T04:36:31Z

清华、厦大等提出的LLMxMapReduce技术突破了大模型的记忆限制,实现了“无限长”上下文。该技术通过将长文本切分为片段并并行处理,提取关键信息并汇总答案。实验表明,结合此框架的模型在处理超长文本时表现优异且速度较快,具有广泛的应用潜力。

清华厦大等提出“无限长上下文”技术,100万大海捞针全绿,Llama\Qwen\MiniCPM都能上分

量子位
量子位 · 2024-11-09T06:55:59Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码