模块化：GPU内核的软件流水线：第一部分 - 流水线问题

模块化：GPU内核的软件流水线：第一部分 - 流水线问题
Modular Blog
Modular Blog ·
流匹配与半离散耦合

流匹配与半离散耦合
Apple Machine Learning Research
Apple Machine Learning Research ·
LLMs中的KV缓存：开发者指南

LLMs中的KV缓存：开发者指南
MachineLearningMastery.com
MachineLearningMastery.com ·
记忆问题：为什么大型语言模型有时会忘记你的对话

记忆问题：为什么大型语言模型有时会忘记你的对话
ByteByteGo Newsletter
ByteByteGo Newsletter ·

浙江大学的InftyThink通过将长推理拆分为短片段并引入总结，实现了无限深度推理，降低了计算复杂度，提升了模型性能，适用于多种模型，前景广阔。

给大模型装上「思维分段引擎」：浙大InftyThink解锁无限深度推理
量子位
量子位 ·

本研究提出了一种新的八次对称ViT架构，有效提升了计算机视觉模型的性能与效率。实验结果显示，该方法在分类和分割任务中显著提高了性能，同时将ViT-H的计算复杂度降低约40%。

更强的八次对称ViT
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
SMUGGLER：亚二次方多尺度统一生成门控语言编码器-表示

SMUGGLER：亚二次方多尺度统一生成门控语言编码器-表示
DEV Community
DEV Community ·
MicroAlgo Inc. 开发量子边缘检测算法，为实时图像处理和边缘智能设备提供全新解决方案

MicroAlgo Inc. 开发量子边缘检测算法，为实时图像处理和边缘智能设备提供全新解决方案
实时互动网
实时互动网 ·

本研究提出了一种名为稀疏注意力混合（MoSA）的方法，旨在降低大型语言模型自注意力计算的复杂度。MoSA通过动态选择注意力头的标记，显著提高模型性能，在相同计算预算下，困惑度比稠密基线高出27%。

Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·

自动微分在深度学习中利用链式法则计算梯度，涉及雅可比矩阵和向量-雅可比积。正向模式和反向模式分别从前向和后向计算雅可比矩阵乘积，以优化存储和计算复杂度。

自动微分再探
Lei Mao's Log Book
Lei Mao's Log Book ·

本研究提出了一种资源高效的波束预测方法，解决了传统方法在快速变化通信环境中的适应性不足。通过知识蒸馏将多模态网络知识转移至单模态网络，并结合自动驾驶模拟器生成的数据，显著降低计算复杂度，同时保持预测准确性。模拟结果显示，在使用教师网络10%参数的情况下，单模态模型性能达到94.62%。

Resource-Efficient Beam Prediction and Multimodal Realistic Simulation Framework in mmWave Communications
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·

本文提出了一种新方法，通过优化图像嵌入，改善基础医学分割模型在特定病变上的表现。实验结果显示，该方法在三个数据集上提升了约3%的Dice得分，同时计算复杂度减少了7倍，具有重要的应用潜力。

Test-time Adaptation for Foundation Medical Segmentation Model without Parametric Updates
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·

该研究提出了一种在资源受限的边缘设备上实现超分辨率图像处理的方法，开发了8K@30FPS加速器，显著降低了计算复杂度和内存需求，同时保持了图像质量。

ESSR: An 8K@30FPS Super-Resolution Accelerator with Edge Selection Network
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
Swin变换器

Swin变换器
DEV Community
DEV Community ·

本研究提出LServe系统，旨在解决长序列大型语言模型在预填充和解码阶段的计算复杂度和内存占用问题。通过混合稀疏注意力，该系统使预填充速度提升近2.9倍，解码速度提升1.3-2.1倍，同时保持长序列的精度。

LServe: Efficient Long-Sequence LLM Service with Unified Sparse Attention
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
增强扩散模型：稀疏性和正则化在高效生成 AI 中的作用

增强扩散模型：稀疏性和正则化在高效生成 AI 中的作用
实时互动网
实时互动网 ·
新AI系统通过自适应学习方法检测数据异常速度提高40%

新AI系统通过自适应学习方法检测数据异常速度提高40%
DEV Community
DEV Community ·

本研究提出FIRMBOUND框架，通过优化早期分类停顿规则，降低计算复杂度。利用密度比估计和凸函数学习，FIRMBOUND实现了贝叶斯风险的最优性，提高了决策的速度和准确性。

基于序列概率比检验的有限时间范围内早期分类的最优停顿学习
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
斯特林公式(Stirling's Formula)：我一个阶乘表达式，怎么就和圆扯上关系了呢？

斯特林公式(Stirling's Formula)：我一个阶乘表达式，怎么就和圆扯上关系了呢？
Long Luo's Life Notes
Long Luo's Life Notes ·

本研究提出了一种ELM-DeepONets方法，通过极限学习机实现无反向传播的深度算子网络训练，显著降低了计算复杂度。实验结果表明，该方法在保持高精度的同时，减少了计算成本，为算子学习提供了高效的替代方案。

ELM-DeepONets: Backpropagation-Free Training of Deep Operator Networks via Extreme Learning Machines
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证