小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

推测解码是一种加速大模型推理的方法,解决了显存带宽限制问题。通过一次性处理多个token,提升生成效率。经典算法如Medusa和EAGLE通过多头预测和特征自回归优化性能,而Lookahead解码则利用当前模型进行并行预测,无需额外模型。整体上,推测解码显著提高了解码速度和准确性,适用于多种场景。

【大模型基础设施工程】15:推测解码与 MTP

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
基于原则的粗粒度接受用于语音中的推测解码

本文介绍了“原则性粗粒度接受”(PCG)方法,旨在加速自回归语音生成。PCG通过在声学相似性组(ASGs)层面验证提议,提高了语音生成的接受率和吞吐量,同时保持了语音的可懂性和说话者相似性,克服了传统精确匹配的限制,提升了生成效率。

基于原则的粗粒度接受用于语音中的推测解码

Apple Machine Learning Research
Apple Machine Learning Research · 2026-01-27T00:00:00Z
如何有效提示v0

使用v0时,清晰的提示能显著提升生成效率和代码质量。最佳提示应包括产品表面、使用背景和约束条件,具体描述可减少不必要的功能和代码,从而提高生成速度和可维护性。

如何有效提示v0

Vercel News
Vercel News · 2025-12-15T13:00:00Z

何恺明团队提出的双向归一化流(BiFlow)框架有效解决了传统归一化流生成效率低的问题,通过解耦前向与逆向过程,生成速度提升了两个数量级,实验结果在ImageNet上表现优异。该项目由三位来自清华和MIT的本科生主导。

何恺明组三位本科生领衔!持续聚焦Flow模型,突破归一化流生成效率瓶颈

量子位
量子位 · 2025-12-15T07:28:58Z

英伟达韩松团队推出新语言模型Jet-Nemotron,基于后神经架构搜索,生成效率提升53倍,准确率超越多款模型,尤其在数学、常识和编码任务中表现优异,计划开源代码和模型。

英伟达韩松团队新作:具有后神经架构搜索的高效语言模型

量子位
量子位 · 2025-08-26T11:43:52Z

ADiT模型通过结合潜在表示与Transformer技术,突破了原子系统建模的周期性与非周期性限制,显著提高了生成效率与可扩展性,为新材料和药物设计提供了重要支持。

入选ICML 2025,Meta/剑桥/MIT提出全原子扩散Transformer框架,首次实现周期性与非周期性原子系统统一生成

HyperAI超神经
HyperAI超神经 · 2025-07-14T06:14:45Z

普林斯顿大学与Meta合作推出LinGen框架,通过MATE模块将视频生成复杂度降低至线性,显著提升生成效率。LinGen在视频质量上优于DiT,生成速度最高可加速15倍,且适应性强,能处理更长的token序列。

单GPU搞定高清长视频生成,效率×10!引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta

量子位
量子位 · 2025-06-18T08:23:59Z

本研究提出CAD-Coder,一个视觉-语言模型,能够从视觉输入直接生成可编辑的CAD代码,从而提高生成效率和准确性,简化工程师和设计师的工作流程。

CAD-Coder: An Open Source Visual-Language Model for Computer-Aided Design Code Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究提出了ProtFlow框架,旨在解决蛋白质序列设计中的功能不足和效率低下问题。通过压缩和光滑潜在空间,ProtFlow显著提高了生成效率和质量,实验结果表明其在多种设计任务中优于传统方法,具有广泛的应用潜力。

ProtFlow: Fast Protein Sequence Design via Flow Matching on Compressed Protein Language Model Embeddings

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-15T00:00:00Z
CVPR 2025 HighLight|打通视频到3D的最后一公里,清华团队推出一键式视频扩散模型VideoScene

清华大学研究团队提出了VideoScene,一种专注于3D场景生成的“一步式”视频扩散模型。该模型通过3D跃迁流蒸馏策略加速推理,并结合动态降噪策略,提高生成效率和质量。实验结果表明,VideoScene在速度和质量上均优于现有模型,具有广泛的应用潜力。

CVPR 2025 HighLight|打通视频到3D的最后一公里,清华团队推出一键式视频扩散模型VideoScene

机器之心
机器之心 · 2025-04-09T05:30:35Z

本文介绍了一种新型小分子生成图扩散模型DMol,该模型在有效性上比现有的DiGress模型提升约1.5%。DMol通过修改目标函数和引入“图噪声”调度策略,显著减少扩散步骤数量和运行时间,提升生成效率。

DMol: A Schedule-Driven Diffusion Model for Efficient and Diverse Molecule Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-08T00:00:00Z

本研究提出FlexiDepth,解决了层跳过方法未考虑计算需求变化的问题。它动态调整Transformer层数,在Llama-3-8B模型中成功跳过8层,保持基准性能并提升生成效率。

Adaptive Layer Skipping in Pre-trained Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z

本研究提出了一种新的统一离散扩散模型UniDisc,旨在解决多模态生成模型在图像与文本理解和生成中的不足,显著提升样本质量、多样性控制和生成效率。

Unified Multimodal Discrete Diffusion Model

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-26T00:00:00Z

本文研究了现有CAD命令序列生成方法的局限,提出了一种基于CAD几何引擎的强化学习训练环境。该方法支持多种操作,显著提高了命令序列生成效率,达到传统方法的39倍,且生成质量优秀。

RLCAD: A Reinforcement Learning Training Environment for Revolutionary CAD Command Sequence Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-24T00:00:00Z
不要自回归!扩散模型作者创业,首个商业级扩散LLM来了,编程秒出结果

Inception Labs 发布了首个商业级扩散大型语言模型 Mercury,速度超过每秒1000个token,性能优于现有模型,显著提高生成效率并降低成本,受到广泛关注。

不要自回归!扩散模型作者创业,首个商业级扩散LLM来了,编程秒出结果

机器之心
机器之心 · 2025-02-27T05:44:55Z

本研究提出了一种新颖的非最优运输流模型,解决三维点云生成中的组合不变性问题,显著提高了生成效率,并在ShapeNet基准测试中超越了现有方法。

非最优运输流的三维点云生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-18T00:00:00Z

本研究提出了一种名为下一块预测的半自回归框架,旨在解决自回归视频生成中的单向依赖和推理速度慢的问题,从而显著提升生成效率和空间依赖捕捉能力。

下一块预测:通过半自回归建模进行视频生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z

本研究提出了一种名为“提升与跳过”的无引导扩散方法,旨在提高少数样本的生成能力。该方法通过对标准生成过程进行两个小改动,显著提升了生成效率,优于传统的引导方法。

Boost-and-Skip: A Simple Guidance-Free Diffusion Method for Minority Sample Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-10T00:00:00Z

本研究结合ChatGPT与基本搜索技术,提升了形式证明生成的效率和可及性,最佳模型的通过率达到31.15%,为AI辅助的形式证明生成提供了新见解。

利用ChatGPT和基本搜索技术简化形式证明生成模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-05T00:00:00Z

本文提出了一种名为循环扩散的方法,解决了大规模参数生成的难题。该方法通过将训练参数划分为不重叠部分,利用循环模型学习其关系,从而提高生成效率。研究表明,该方法在多个架构和任务上表现出色,增强了参数生成的实用性。

循环扩散用于大规模参数生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-20T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码