小红花·文摘

本文讨论了大语言模型（LLM）推理引擎的现代化技术，包括连续批处理和分页注意力。这些技术显著提升了LLM的吞吐量和GPU利用率，同时优化了显存利用率。文章还介绍了分块预填充和前缀缓存等策略，以降低延迟和提高效率，强调在生产环境中应用这些技术的重要性。

【大模型基础设施工程】12：PagedAttention 与 Continuous Batching

土法炼钢兴趣小组的博客 ·

图标（重新）请求和平

Blog Awesome ·

文章讨论了AI基础设施的最新动态，包括NVIDIA的Feynman架构和Rosa CPU、LinkedIn的LLM内容排序系统以及Armis的安全报告。强调了LLM技术从研究到生产的重要性，以及在安全性和效率优化方面面临的挑战。智能体基础设施逐渐成熟，涵盖计算、编排、记忆和金融等多个层面。

AI Infra Brief｜生产级 LLM 基础设施规模化落地；效率与安全新信号（2026.03.21）

dotNET跨平台 ·

通过Sentry软件和BMC Helix最大化正常运行时间和效率

BMC Software | Blogs ·

优化喷砂参数的五个步骤，实现效率提升30%！

DEV Community ·

本研究提出了AutoSculpt框架，旨在优化深度神经网络在边缘设备上的部署。通过结合图学习和强化学习，AutoSculpt能够自动识别并剪除DNN中的模式，显著提高效率，同时保持模型准确度。实验结果表明，剪枝率可达90%，计算量减少近18%。

AutoSculpt: A Pattern-based Model Auto-pruning Framework Using Reinforcement Learning and Graph Learning

BriefGPT - AI 论文速递 ·

本研究提出FuzzDistill方法，通过编译时分析和机器学习优化模糊测试目标，解决效率低下和资源消耗问题，能够识别高优先级漏洞区域，显著减少测试时间。

Intelligent Fuzzing Target Selection: FuzzDistill Based on Compile-Time Analysis and Machine Learning

BriefGPT - AI 论文速递 ·

本研究提出了一种新方法，优化大型语言模型处理长文本的效率，减少不重要标记的内存和计算负担。研究发现，近标记更为重要，通过层间共享注意力得分，节省了35%的KV缓存。

Compressing KV Cache for Long Context LLM Inference through Inter-layer Attention Similarity

BriefGPT - AI 论文速递 ·

云计算中最昂贵的错误及其规避方法

The New Stack ·

本研究提出了一种基于深度强化学习的masked PPO算法，用于优化太空碎片会合任务的规划效率。通过优化碎片访问顺序，任务总时间比遗传算法和贪婪算法分别减少约10.96%和13.66%。这一创新为太空碎片清除任务提供了新思路。

重新审视太空任务规划：一种基于强化学习的多碎片会合方法

BriefGPT - AI 论文速递 ·

混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合

机器之心 ·

本文介绍了跨模态图像-文本检索的研究进展，涵盖特征提取、对齐和效率优化等方面。评估了2003至2016年的检索算法，并提出未来研究方向。研究了结合语音和图像的检索方法，提出了知识增强的双流框架KEDs，表现优于以往方法。此外，介绍了新数据集ReMuQ和Retriever模型ReViz，提升了多模态查询的检索效果。