小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践

文章解释专家缓存不适用于稠密模型:MoE每Token仅激活约3B参数,可缓存热点专家;而Qwen3.8-27B每Token需计算全部27B权重,按Token搬运权重受PCIe带宽限制。作者在16GB显存上实现稠密推理引擎,通过显存预算规划、零拷贝放置、12种GGUF量化块原位GEMV、单流子层融合及分块注意力显著降低延迟,但整网端到端吞吐仍待实测。

为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践

Nicksxs's Blog Nicksxs's Blog · 2026-10-25T08:15:00Z
从 TensorSharp 视角解读 Ternary Bonsai 2 27B:当 1.72 比特的权重遇上 Hadamard 变换 - 张善友

PrismML发布Ternary Bonsai 2 27B三元量化多模态模型,27.36B参数压缩至5.9GB,保留基座98.2%分数。但权重存于旋转基底,运行时需执行Walsh-Hadamard变换,原版llama.cpp与Ollama无法运行。TensorSharp通过显式校验变换契约、转码自定义格式接入该模型,拒绝静默跑错,代价是内存增加6%至29%,性能略慢于官方基线。

从 TensorSharp 视角解读 Ternary Bonsai 2 27B:当 1.72 比特的权重遇上 Hadamard 变换 - 张善友

张善友 张善友 · 2026-09-26T05:05:00Z
27B模型分分钟交付网页,Qwen 3.8还是太能了

Qwen3.8-27B因快速生成网页走红,每秒近2000 Token,能凭一句Prompt现场生成完整界面。实测中,它五分钟做出数据分析小工具,但生成的12306抢票页面只是逼真空壳,无法联网、支付或真实抢票。它降低了做网页门槛,却仍难接入现实后端,离真正交付产品还有距离。

27B模型分分钟交付网页,Qwen 3.8还是太能了

量子位 量子位 · 2026-09-19T11:43:12Z
极限优化 Qwen 3.8 27B 的性能

作者将Qwen 3.8 27B模型调优至极限,对比124与104两组配置的端到端吞吐(均含TTFT),五项中位数全部由124领先,TTFT也明显改善,并称错过算力舱就错过全球最快Qwen 3.8 27B。

极限优化 Qwen 3.8 27B 的性能

Andy Stewart Andy Stewart · 2026-09-18T16:00:00Z
GPT + Qwen 3.8 27B 协作工作流

用户偏好Qwen 3.8 27B,认为其在明确任务下执行精准稳定,虽不如GPT全能。因Qwen 3.8 Flash Next训练不严谨、长上下文易乱码而弃用。用户采用GPT规划、27B执行的组合,并用Pi Agent配27B修复博客视频问题,效率很高。

GPT + Qwen 3.8 27B 协作工作流

Andy Stewart Andy Stewart · 2026-09-15T16:00:00Z
GPT负责设计,离线27B负责执行:我超高效率但超省钱的工作流

文章介绍了一种高效且省钱的工作流:利用线上GPT进行全局规划与设计,再将方案交给离线模型(如Qwen 27B)执行具体任务。离线模型在后台运行,能自主解决环境问题,既保留线上模型能力,又大幅降低订阅成本,节省约90%费用。

GPT负责设计,离线27B负责执行:我超高效率但超省钱的工作流

Andy Stewart Andy Stewart · 2026-09-08T16:00:00Z

优化Qwen 3.8 27B模型时发现,这类重思考的稠密模型适合算力舱(2070T),Prefill速度达3500-4000 TPS,因模型70%-80%时间在思考,Prefill性能关键。Mac Studio虽显存带宽大,但Prefill能力弱,不适合重思考模型,更适合轻思考模型。选硬件需匹配模型推理范式。

Qwen 3.8 27B:算力舱还是 Mac Studio?

Andy Stewart Andy Stewart · 2026-08-28T16:00:00Z
Qwen 3.8 27B YaRN 768K 上下文实测

文章实测Qwen 3.8 27B模型通过YaRN技术扩展上下文长度,发现实际可从265K扩展至768K,而非宣传的1M,原因是1M时KV Cache需84GB显存,超出128GB机器可用内存约3GB。作者计划进一步测试768K上下文在实际编程中的表现。

Qwen 3.8 27B YaRN 768K 上下文实测

Andy Stewart Andy Stewart · 2026-08-27T16:00:00Z
Qwen 3.8 27B 实现 900K 代码上下文

该文章介绍通过YaRN技术将Qwen 3.8 27B模型的上下文长度从786K提升至900K,接近1M,可支持99%的大型代码项目,避免因上下文不足导致的性能下降。模型占用120GB显存,在懒猫AI算力舱上运行速度快且稳定。

Qwen 3.8 27B 实现 900K 代码上下文

Andy Stewart Andy Stewart · 2026-08-27T16:00:00Z
vLLM 默认多模态参数导致 Qwen 3.8 27B 报错

vLLM部署Qwen 3.8 27B时,默认参数限制了图片和视频输入,导致报错。通过删除`--limit-mm-per-prompt.image 2`和`--limit-mm-per-prompt.video 0`并重启Docker,问题得到解决,模型恢复正常。

vLLM 默认多模态参数导致 Qwen 3.8 27B 报错

Andy Stewart Andy Stewart · 2026-08-27T16:00:00Z
世界纪录,Qwen 3.8 27B 单台 125 token

懒猫AI算力仓单台运行Qwen 3.8 27B模型,创下性能纪录:prefill速度3754 TPS,长代码解码125 TPS,八会话解码231 TPS,显存占用70GB。该模型为稠密型,专注写代码,单台可跑且不降智,相比Mac Studio,英伟达芯片prefill和并发性能更强,兼容CUDA,价格更优,现推出优惠促销。

世界纪录,Qwen 3.8 27B 单台 125 token

Andy Stewart Andy Stewart · 2026-08-26T16:00:00Z
27B AI 科学家论文复现能力超越 GPT-5.5/Claude Opus 4.8,Faraday 探索长程科学创新

论文复现是科学基石,但机器学习领域面临可复现性危机。Inherent Labs团队训练了270亿参数的AI智能体Faraday,利用Codex GPT-5.5作为工具,在73%的分布内任务和60%的AI for Science任务上超越Claude和GPT-5.5。Faraday通过自动生成任务空间和稳定GRPO后训练,展现出更强的科学严谨性,能指导更大模型工作,提升复现能力。

27B AI 科学家论文复现能力超越 GPT-5.5/Claude Opus 4.8,Faraday 探索长程科学创新

HyperAI超神经 HyperAI超神经 · 2026-08-26T10:25:56Z
Pi Agent + Qwen 3.8 27B 深度优化

作者在懒猫AI算力舱X5上部署Qwen 3.8 27B模型,通过真实项目测试,发现其性能良好。经MTP投机解码和NVFP8优化,速度从13.9提升至30.8 Tokens,但关闭思考模式会降低代码推理准确度。开启思考模式后,实际速度稳定在26.47 Tokens,若计入思考阶段,可达35.23 Tokens/s。未来计划进一步优化draft engine以提升速度。

Pi Agent + Qwen 3.8 27B 深度优化

Andy Stewart Andy Stewart · 2026-08-24T16:00:00Z
Qwen 3.8 27B 编程能力实测:一次修复4个复杂 Bug

Qwen 3.8 27B在编程任务中表现惊艳,能一次修复多个bug,并仅凭需求描述自主分析代码关系。尽管思考时间较长,但结果出色,优化速度后可作为主力编程模型,全离线AI编程能力强大。

Qwen 3.8 27B 编程能力实测:一次修复4个复杂 Bug

Andy Stewart Andy Stewart · 2026-08-24T16:00:00Z
从代码开发到自动化执行,Muse-Glimmer-30B让本地Agent更强大;Qwen3.8-27B-FP8发布,270亿参数挑战高效推理极限

Muse-Glimmer-30B是Meta推出的300亿参数多模态智能体模型,支持本地运行,融合推理、工具调用和多模态理解,性能优异。文章还介绍了HyperAI平台更新的数据集、教程及社区内容,涵盖人物画像、车辆检测、分子处理、语音识别等AI资源。

从代码开发到自动化执行,Muse-Glimmer-30B让本地Agent更强大;Qwen3.8-27B-FP8发布,270亿参数挑战高效推理极限

HyperAI超神经 HyperAI超神经 · 2026-08-22T09:16:25Z
阿里千问Qwen3.8-27B实测碾压Opus 5!一张3090就够了

阿里开源Qwen3.8-27B模型,在编程等任务上超越Claude旗舰,仅需一张二手3090显卡即可运行。其Sharp聊天模板优化了性能,引发对云端订阅价值的质疑。但测试条件存疑,结果可能仅在特定配置下成立,开源与闭源模型竞争仍存变数。

阿里千问Qwen3.8-27B实测碾压Opus 5!一张3090就够了

极道 极道 · 2026-08-18T22:56:00Z

本文介绍如何用三条命令将Qwen3.8-27B模型配置为本地AI编程助手。首先检查硬件(建议24GB显存和32GB内存),然后安装Ollama、下载模型,最后在OpenCode中启动。测试显示模型能快速构建并测试应用,适合初学者快速体验本地AI编程,无需复杂配置。

仅需三条命令,将Qwen3.8-27B配置为本地AI编程助手

KDnuggets KDnuggets · 2026-08-18T14:00:29Z
在线教程丨Qwen3.8-27B重磅开源,推理/编程/Agent能力齐升级

Qwen3.8-27B开源模型发布,拥有270亿参数,强化推理、编程与Agent能力,在代码、多模态和智能体评测中表现优异,接近顶级闭源模型。支持图像视频理解及灵活思考控制,HyperAI已上线教程供开发者快速调用。

在线教程丨Qwen3.8-27B重磅开源,推理/编程/Agent能力齐升级

HyperAI超神经 HyperAI超神经 · 2026-08-18T09:54:13Z
两块RTX 3090跑105 tok/s!Qwen3.8-27B本地部署实测

阿里开源Qwen3.8-27B模型,270亿参数,支持262K上下文,性能接近闭源旗舰。社区实测在双RTX 3090上达105 tok/s,通过量化、MTP加速等技术实现。模型Apache 2.0协议,48小时下载86万次。但速度受场景、配置影响大,多卡未必更快,且长上下文需量化KV缓存牺牲质量。

两块RTX 3090跑105 tok/s!Qwen3.8-27B本地部署实测

极道 极道 · 2026-08-17T04:23:00Z
Qwen3.8-27B在Mac上快3倍:mlx-dspark无损加速实测揭秘

mlx-dspack项目在Mac上通过投机解码技术,将Qwen3.8-27B模型推理速度提升至3倍,8-bit量化下性能优于4-bit。项目基于DeepSeek的DSpark和z-lab的DFlash,支持自动调参优化草稿长度。实测显示8-bit加投机解码比4-bit普通解码快39%,但加速效果受硬件、量化方式和MLX版本影响,长上下文和内存限制仍是瓶颈。

Qwen3.8-27B在Mac上快3倍:mlx-dspark无损加速实测揭秘

极道 极道 · 2026-08-15T22:53:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码