小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
基于机器学习的单船航程优化:Manta 在 AWS 上的实践

Manta Marine Technologies 在 AWS 上构建云原生数据基础设施,为每艘船单独训练机器学习模型,并结合天气预报优化航程。系统利用 Apache Airflow、Amazon EC2、ECS、Lambda 等处理海量船舶数据,并随新航次数据持续重训模型。相比按船型平均建模,该方案更贴合单船实际性能,预计每船节省约 2–4% 燃油。

基于机器学习的单船航程优化:Manta 在 AWS 上的实践

AWS Architecture Blog AWS Architecture Blog · 2026-10-27T17:14:32Z
深度剖析IM消息乱序的根本原因及优化方法

本文分析IM消息乱序问题,指出客户端时间戳不可信、多端并发发送、群消息扇出重试三大陷阱;设计目标为同一会话内强保序、跨会话弱保序、多端最终一致;方案是将时序锚点收敛到服务端会话级单点,用msgSeq保证会话内单调递增,stime用于跨会话排序,并通过会话锁串行分配、MQ哈希分区确保顺序一致。

深度剖析IM消息乱序的根本原因及优化方法

实时互动网 实时互动网 · 2026-10-27T02:22:04Z

本文梳理线性注意力的优化路线:Performer用正交随机特征逼近softmax;DeltaNet按当前Key修正旧映射;GLA按Key通道门控衰减并分块并行;Mamba-2/SSD以标量衰减统一递推与矩阵计算;Gated DeltaNet结合整体遗忘与Delta规则,用WY表示和三角求解实现分块;KDA进一步采用逐通道衰减加Delta更新,兼顾表达力与硬件效率,并与MLA混合使用。

大语言模型的基石:Transformer 入坑笔记(五) - 线性注意力(Linear Attention) 的优化

I'm OWenT I'm OWenT · 2026-10-25T16:25:45Z
为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践

文章解释专家缓存不适用于稠密模型:MoE每Token仅激活约3B参数,可缓存热点专家;而Qwen3.8-27B每Token需计算全部27B权重,按Token搬运权重受PCIe带宽限制。作者在16GB显存上实现稠密推理引擎,通过显存预算规划、零拷贝放置、12种GGUF量化块原位GEMV、单流子层融合及分块注意力显著降低延迟,但整网端到端吞吐仍待实测。

为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践

Nicksxs's Blog Nicksxs's Blog · 2026-10-25T08:15:00Z

Cloudflare优化其AI代码审查代理,将平均审查成本从2.43美元降至0.77美元(降68%),中位耗时从4分09秒缩短至1分32秒。约40%的节省来自代码优化,其余来自模型与推理强度调整。关键措施包括:各仓库共享缓存前缀、减少LLM调用、并行读取文件、跳过无新内容的复审。质量评估显示,高强度下代码质量审查仍能发现相当数量的真实问题,且误报和严重性虚高大幅减少。

痴迷优化:我们将推理成本削减了68%

The Cloudflare Blog The Cloudflare Blog · 2026-10-19T19:12:53Z

本期汇总四条 Rust 动态:Vec/String 枚举可利用 niche 优化,无需额外判别字段;iroh 发布 1.0,稳定线格式与 API,采用 QUIC 和 Ed25519 端点身份;Apalis 1.0 拆分 Backend trait,新增工作流与多种后端;社区讨论线性类型、代数效应等研究能否进入 Rust 后继语言。

【Rust日报】2026-10-18 Vec 和 String 的枚举优化不只靠空指针

Rust.cc Rust.cc · 2026-10-18T01:07:36Z
Windows如何为英伟达RTX Spark笔记本进行优化

微软与英伟达合作推出基于Arm架构的RTX Spark笔记本,Windows针对本地AI模型、游戏和内存管理进行优化。首批支持Hermes等AI代理,可通过应用商店安装。微软使用Prism模拟器运行非原生应用,并优化游戏反作弊支持。Copilot Plus功能推迟至明年。

Windows如何为英伟达RTX Spark笔记本进行优化

The Verge The Verge · 2026-10-15T14:30:00Z
NCMMSC 2026 | DiTAR+:针对自回归扩散TTS模型的双重优化

西工大ASLP@NPU提出DiTAR+,针对连续表征自回归扩散语音合成中的长语音说话人漂移和复杂文本语义幻觉问题,设计扩张上下文采样(DCS)与分层声学掩码(HAM)双重优化。DCS扩展历史感受野,HAM先语义后声学。实验显示复杂中文WER从12.478%降至9.893%,长语音WER从2.778%降至2.173%,说话人相似度提升。

NCMMSC 2026 | DiTAR+:针对自回归扩散TTS模型的双重优化

实时互动网 实时互动网 · 2026-10-12T07:02:48Z

文章介绍将 BadgerDB 移植到仓颉时的性能优化与一次误判。作者列举十项优化,包括 CRC32C 全局查找表、用 Condition 替代轮询、将 flush 移出写锁使写吞吐翻倍。随后复盘一起“编译器 bug”乌龙:实为仓颉 Array 切片是共享视图而非拷贝,导致自造错误。结论是怀疑编译器前应先检查自身代码的别名与共享语义。

把 BadgerDB 移植到仓颉(二):十次优化与一次误判

东方星痕 东方星痕 · 2026-10-11T02:00:00Z

为 Omarchy 桌面时钟和顶部插件新增最小化功能:点击后插件吸附到屏幕顶部变为小黑条,再次点击可恢复原大小和位置,便于录制新插件视频。

Omarchy 桌面插件优化

Andy Stewart Andy Stewart · 2026-10-04T16:00:00Z

对于无约束的光滑函数来说,求极值的通用方法自然是求导(梯度)并让导数等于零了。那带等式约束的极值问题呢?很多读者应该也不陌生,标准方法是拉格朗日乘子法。然而,拉格朗日乘子总让人觉得是一种纯粹的代...

通过微扰分析求解等式约束优化问题

科学空间|Scientific Spaces 科学空间|Scientific Spaces · 2026-10-03T11:08:00Z

本文介绍五种降低大模型Token消耗的提示词优化技巧:用结构化约束替代冗长指令;少样本示例控制在三到五个;对长文档动态裁剪上下文,仅保留相关段落;利用提示缓存复用固定前缀;将思维链推理与最终答案分离,丢弃推理过程。这些方法可显著降低成本并提升响应速度。

五种经过验证的Token压缩与提示词优化技巧

KDnuggets KDnuggets · 2026-10-02T12:00:00Z
Lakebase Postgres 成本优化实用指南

Lakebase 是基于存算分离架构的托管 Postgres,成本优势显著。数据库分支共享存储,适合短期开发测试;自动扩缩容可按需调整算力,配合缩容至零可进一步降本。读写分离与高可用无需复制存储。同步表应只同步活跃子集,并按需选择快照、触发或连续模式。合理配置计算规格、连接池和恢复窗口,可避免资源浪费。

Lakebase Postgres 成本优化实用指南

Databricks Databricks · 2026-09-30T16:53:12Z
Valkey 内存优化:逐版本与逐编码解析——每个版本究竟节省了多少字节?

Valkey 7.2至9.1通过三项底层数据结构重构,将字符串密集型场景的每键内存从102.48字节降至64.02字节,减少37.5%。8.0将键内联进dictEntry节省8字节;8.1改用64字节缓存行对齐哈希表,嵌入键值并消除dictEntry,节省20-30字节;9.1将短字符串内联存储,节省最多20%。此外,用Hash存储同一数据比多个String键节省54%内存,但需权衡TTL与集群灵活性。

Valkey 内存优化:逐版本与逐编码解析——每个版本究竟节省了多少字节?

Percona Database Performance Blog Percona Database Performance Blog · 2026-09-29T15:33:33Z

Numba可将Python数值循环编译为机器码,无需改用C或向量化。同一函数可通过三种方式优化:用@njit编译循环,比纯Python快约80倍;加parallel=True和prange实现多核并行,提速约350倍;再加cache=True缓存编译结果,避免重复编译。核心是让热点代码留在编译边界内、覆盖全部核心,并只付一次编译成本。

Python运行时优化的3个Numba技巧

KDnuggets KDnuggets · 2026-09-28T12:00:43Z

小语言模型优化第三法为按长度分桶批处理:逐条推理受内存带宽限制效率低,普通批处理因填充浪费算力;按token长度排序后分批,各批仅填充至局部最大值,可将填充开销降至约8%,吞吐量提升近一倍。需左填充、只取末位logits,并核对结果与逐条推理一致。

按长度分桶批处理替代逐条循环:小语言模型优化第三法

KDnuggets KDnuggets · 2026-09-25T14:00:07Z
Azure 上的 Elastic Cloud 提速:基于 Azure Cobalt ARM 的计算优化实例

Elastic Cloud on Azure 推出基于微软 Cobalt ARM 处理器的计算优化配置,采用 Dpldsv6 虚拟机与本地 NVMe 存储,随机读取性能更佳。测试显示其性价比比 Fsv2 实例提升高达 44%,适合索引、聚合等 CPU 密集型搜索工作负载。用户可通过 Azure 门户或 Elastic Cloud 控制台创建或逐节点迁移部署,该配置已在多个 Azure 区域上线。

Azure 上的 Elastic Cloud 提速:基于 Azure Cobalt ARM 的计算优化实例

Elastic Blog - Elasticsearch, Kibana, and ELK Stack Elastic Blog - Elasticsearch, Kibana, and ELK Stack · 2026-09-24T00:00:00Z
掌握大语言模型推理优化的路线图

本文介绍大语言模型推理优化路线图。推理分为预填充(计算密集)和解码(显存带宽受限)两阶段。优化手段包括:KV缓存、PagedAttention与前缀缓存管理显存;连续批处理提升GPU利用率;MQA、GQA、FlashAttention优化注意力;量化、稀疏化、知识蒸馏压缩模型;投机解码降低延迟;张量并行、流水线并行及预填充-解码分离实现多GPU扩展。

掌握大语言模型推理优化的路线图

MachineLearningMastery.com MachineLearningMastery.com · 2026-09-21T12:00:43Z
开源JCR:用Jev树状路由解决agent上下文窗口优化

Niaz Morshed 开源了 JCR,利用 Jev 树状路由在六层能力目录中逐层筛选,将 11360 条 API 命令的检索压缩为少量结果。实测显示,Claude Opus 5 的输入 token 减少 85%、成本降低 67%,但 GPT-5.6-Sol 耗时增加 2.5 倍。JCR 仅返回文档而不执行命令,适用于按 token 计费昂贵且可接受延迟的场景。

开源JCR:用Jev树状路由解决agent上下文窗口优化

极道 极道 · 2026-09-20T21:55:00Z
AI Agent成本优化指南:用Jev替代大模型做路由和分类决策

Jev Engineering 提出将 Agent 中“做选择”的决策从大模型剥离,交由专门的 Jev 分类模型处理,大模型仅负责推理与生成。Jev 支持 Choice、Score、Noul 三种输出,用于路由、排序和门控,并通过漏斗筛选、批量决策、置信度阈值和上下文打分压缩来降本增效。实测成本约 42 美分对 44 美元,相差百倍,但准确率仍有差距,需按场景验证。

AI Agent成本优化指南:用Jev替代大模型做路由和分类决策

极道 极道 · 2026-09-20T07:38:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码