小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
DeepSeek-V4 模型结构(6):优化器与稳定性,Muon

DeepSeek-V4采用Muon优化器,通过谱范数最速下降实现逐矩阵正交化,用Newton-Schulz迭代逼近SVD,混合系数提升小奇异值并精确稳定大值。RMS匹配对齐AdamW,部分参数仍用AdamW。Q/KV归一化替代QK-Clip防logit爆炸,Anticipatory Routing打断MoE路由正反馈,MTP预测多token,训练配方含32T token等细节。

DeepSeek-V4 模型结构(6):优化器与稳定性,Muon

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T20:00:00Z
Kimi K3 模型结构(6):输入端与零件,MoonViT-V2、MTP、Per-Head Muon

Kimi K3模型采用从零训练的MoonViT-V2视觉编码器,27层、patch14结构,支持高分辨率图像token化;MTP层预训练后微调为EAGLE-3投机解码draft模型;Per-Head Muon优化器按头正交化动量矩阵,提升训练稳定性。词表大小163840,采用稠密层设计,强调结构选择对系统设计的影响。

Kimi K3 模型结构(6):输入端与零件,MoonViT-V2、MTP、Per-Head Muon

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T16:00:00Z

文章介绍了通过两台协同计算优化AI模型,实现稳定70 TPS和382K上下文,并利用DFlash2优化稠密模型达到单流125-133 TPS、8并发231 TPS,通过YaRN技术将上下文扩展至900K。同时对比了n-gram和MTP方案,最终选择MTP实现60 TPS和2232 TPS Prefill,适合日常写代码,并计划继续优化其他模型。

算力舱AI模型适配实录

Andy Stewart Andy Stewart · 2026-08-28T16:00:00Z
MTP 加速推理最佳实践:在亚马逊云科技中国区使用 llama.cpp 部署 Qwen3.6 的实测指南

本文在AWS中国区实测llama.cpp部署Qwen3.6模型,对比Graviton4、Intel CPU和A10G GPU的MTP加速效果。GPU上MTP提升83%性能,CPU上反而降低18-40%。最佳实践:GPU用27B Dense+MTP,CPU用35B MoE关闭MTP,后者成本仅为GPU的26%,性能达82%。

MTP 加速推理最佳实践:在亚马逊云科技中国区使用 llama.cpp 部署 Qwen3.6 的实测指南

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-07-24T09:24:07Z

推测解码是一种加速大模型推理的方法,解决了显存带宽限制问题。通过一次性处理多个token,提升生成效率。经典算法如Medusa和EAGLE通过多头预测和特征自回归优化性能,而Lookahead解码则利用当前模型进行并行预测,无需额外模型。整体上,推测解码显著提高了解码速度和准确性,适用于多种场景。

【大模型基础设施工程】15:推测解码与 MTP

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
将 Android 以 MTP 方式连接至 Debian

本文介绍了如何在Debian系统中通过MTP连接Android手机以传输文件。首先,安装mtp-tools和jmtpfs工具。连接手机后,使用命令`mtp-detect`确认设备识别。然后,创建挂载点并使用`jmtpfs`命令挂载手机,最后通过`fusermount -u`命令卸载设备。

将 Android 以 MTP 方式连接至 Debian

泠泫凝的异次元空间 泠泫凝的异次元空间 · 2025-11-23T05:55:47Z
MacOS 免费 MTP 工具 OpenMTP – 3.2.25 汉化版

OpenMTP 是一款适用于 MacOS 的基础 MTP 工具,支持与 Switch 大气层交互。由于 Apple 的限制,作者无法继续维护更新,建议进行汉化并提供源码链接。在打包过程中遇到 Node 版本不匹配等问题,需要寻找熟悉 electron 和 yarn 的开发者协助。

MacOS 免费 MTP 工具 OpenMTP – 3.2.25 汉化版

伪斜杠青年 伪斜杠青年 · 2025-07-29T13:08:06Z

本研究针对现有车辆间协作感知只关注单帧数据的问题,提出了Co-MTP框架,通过多时序融合技术增强轨迹预测。该框架利用V2X系统全面捕捉历史和未来交互信息,从而支持更准确的规划。研究结果显示,Co-MTP在真实数据集V2X-Seq上的表现超越了现有技术,证明了历史和未来信息的融合对预测任务的重要性。

Co-MTP:一种用于自动驾驶的协作轨迹预测框架,结合多时序融合

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-23T00:00:00Z

本文介绍了Open R1的开源内容及其复现R1训练流程的过程,包括GRPO实现、数据生成和评估。OpenR1-Math-220k数据集生成了22万条高质量数学推理数据,提升了模型性能。通过改进验证工具和使用奖励模型,确保了数据质量和推理能力。

MTP——我对DeepSeek V3中多token预测MTP的代码实现(含对V3官方MoE、MLA推理代码的解读)

结构之法 算法之道 结构之法 算法之道 · 2025-02-13T07:45:02Z
通过USB在Android和Ubuntu之间传输文件

我在Ubuntu上使用gmtp来解决Android手机与Ubuntu之间的文件传输问题,因为Ubuntu默认不支持MTP。

通过USB在Android和Ubuntu之间传输文件

DEV Community DEV Community · 2024-11-19T11:24:22Z
twrp设备树修复

当USB不工作时,可以通过修改recovery/root/init.recovery.usb.rc文件来设置adb和mtp属性,并调整设备ID。同时,需要修复屏幕显示和CPU温度读取路径。

twrp设备树修复

dpkg123的博客 dpkg123的博客 · 2024-11-05T22:35:27Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码