小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文讨论了大语言模型(LLM)推理引擎的现代化技术,包括连续批处理和分页注意力。这些技术显著提升了LLM的吞吐量和GPU利用率,同时优化了显存利用率。文章还介绍了分块预填充和前缀缓存等策略,以降低延迟和提高效率,强调在生产环境中应用这些技术的重要性。

【大模型基础设施工程】12:PagedAttention 与 Continuous Batching

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
图标(重新)请求和平

Font Awesome 最近优化了其问题跟踪系统,关闭了现有的图标请求问题,并鼓励用户在需要时重新提交请求。此举旨在提高效率,专注于重要的错误报告和可操作事项。团队将利用 GitHub Discussions 组织其他讨论,以确保更清晰的沟通和管理。

图标(重新)请求和平

Blog Awesome
Blog Awesome · 2026-03-26T13:25:00Z

文章讨论了AI基础设施的最新动态,包括NVIDIA的Feynman架构和Rosa CPU、LinkedIn的LLM内容排序系统以及Armis的安全报告。强调了LLM技术从研究到生产的重要性,以及在安全性和效率优化方面面临的挑战。智能体基础设施逐渐成熟,涵盖计算、编排、记忆和金融等多个层面。

AI Infra Brief|生产级 LLM 基础设施规模化落地;效率与安全新信号(2026.03.21)

dotNET跨平台
dotNET跨平台 · 2026-03-23T00:03:02Z
通过Sentry软件和BMC Helix最大化正常运行时间和效率

尽管云计算普及,物理IT基础设施依然重要。IT运营需确保系统可靠性并减少故障。硬件故障率高,需有效管理。BMC Helix与Sentry Software结合,提供主动监控,提升可见性,减少停机时间,优化效率。

通过Sentry软件和BMC Helix最大化正常运行时间和效率

BMC Software | Blogs
BMC Software | Blogs · 2025-04-01T11:03:13Z
优化喷砂参数的五个步骤,实现效率提升30%!

喷砂是机械和航空制造行业的关键表面处理工艺。许多公司因设备参数配置不当导致效率低下和成本增加。本文提出优化喷砂效率的步骤,包括明确目标、调整关键参数、设备测试、自动化监控和定期维护。这些方法可提升喷砂效率20-30%,并延长设备使用寿命。

优化喷砂参数的五个步骤,实现效率提升30%!

DEV Community
DEV Community · 2025-03-25T09:32:26Z

本研究提出了AutoSculpt框架,旨在优化深度神经网络在边缘设备上的部署。通过结合图学习和强化学习,AutoSculpt能够自动识别并剪除DNN中的模式,显著提高效率,同时保持模型准确度。实验结果表明,剪枝率可达90%,计算量减少近18%。

AutoSculpt: A Pattern-based Model Auto-pruning Framework Using Reinforcement Learning and Graph Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-24T00:00:00Z

本研究提出FuzzDistill方法,通过编译时分析和机器学习优化模糊测试目标,解决效率低下和资源消耗问题,能够识别高优先级漏洞区域,显著减少测试时间。

Intelligent Fuzzing Target Selection: FuzzDistill Based on Compile-Time Analysis and Machine Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-11T00:00:00Z

本研究提出了一种新方法,优化大型语言模型处理长文本的效率,减少不重要标记的内存和计算负担。研究发现,近标记更为重要,通过层间共享注意力得分,节省了35%的KV缓存。

Compressing KV Cache for Long Context LLM Inference through Inter-layer Attention Similarity

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-03T00:00:00Z
云计算中最昂贵的错误及其规避方法

云计算改变了组织运作方式,但要实现其价值,需要战略管理成本与资源。FinOps连接财务、云运营与DevOps团队,确保云投资与业务目标一致。尽管89%的公司认为FinOps是解决云成本管理复杂性的关键,但近45%对其效果存疑。成功实施FinOps需明确目标、建立成本架构、设定现实KPI、测试工具、共享责任及早期参与利益相关者。应建立跨职能团队,转向主动的FinOps策略,持续优化以提升效率与降低支出。

云计算中最昂贵的错误及其规避方法

The New Stack
The New Stack · 2024-11-05T11:00:11Z

本研究提出了一种基于深度强化学习的masked PPO算法,用于优化太空碎片会合任务的规划效率。通过优化碎片访问顺序,任务总时间比遗传算法和贪婪算法分别减少约10.96%和13.66%。这一创新为太空碎片清除任务提供了新思路。

重新审视太空任务规划:一种基于强化学习的多碎片会合方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-25T00:00:00Z
混合专家更有主见了,能感知多模态分情况行事,Meta提出模态感知型专家混合

《Chameleon: 混合模态早期融合基础模型》介绍了一种新的单一Transformer架构,称为Chameleon,该架构对混合模态序列进行建模,以实现无缝推理和生成。Meta FAIR团队提出了模态感知稀疏架构(MoMa),通过集成特定于每种模态的模块来优化此框架。实验结果表明,MoMa模型在各种下游任务中表现出色。此外,团队进行了效率优化和吞吐量分析,证明了MoMa的高效性。

混合专家更有主见了,能感知多模态分情况行事,Meta提出模态感知型专家混合

机器之心
机器之心 · 2024-08-11T02:55:34Z

本文介绍了跨模态图像-文本检索的研究进展,涵盖特征提取、对齐和效率优化等方面。评估了2003至2016年的检索算法,并提出未来研究方向。研究了结合语音和图像的检索方法,提出了知识增强的双流框架KEDs,表现优于以往方法。此外,介绍了新数据集ReMuQ和Retriever模型ReViz,提升了多模态查询的检索效果。

远程感知影像的知识感知文本 - 影像检索

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-06T00:00:00Z
美团外卖智能陪伴型导购的探索与实践

本文介绍了美团外卖智能陪伴型导购的探索与尝试,通过智能刷新推荐框架、策略、用户行为建模和效率优化等方法提升用户选购效率和个性化体验。取得了增加搜索UV_RPM、搜索UV_CXR和框内词UV_CTR等指标的成果。未来将继续探索智能刷新、大模型赋能导购和打破反馈闭环等方向。

美团外卖智能陪伴型导购的探索与实践

美团技术团队
美团技术团队 · 2023-07-13T00:00:00Z
测试Anthropic Claude的100K令牌窗口在SEC 10-K文件上的表现

Anthropic最近推出的100K上下文窗口模型能够处理约75,000个单词,适合分析SEC 10-K文件。尽管在整体理解和速度上表现良好,但在复杂提示的推理能力和成本方面仍存在不足,需要优化以提高效率和准确性。

测试Anthropic Claude的100K令牌窗口在SEC 10-K文件上的表现

Blog on LlamaIndex
Blog on LlamaIndex · 2023-05-12T00:00:00Z
动态规划简明教程 - 1

动态规划是一种解决复杂问题的方法,通过将问题分解为子问题并保存解以避免重复计算。其关键特征包括重叠子问题、最优子结构和无后效性。以斐波那契数列为例,动态规划通过状态转移方程自底向上计算,优化了性能。与暴力搜索和记忆化搜索相比,动态规划在时间和空间效率上表现更优。

动态规划简明教程 - 1

蛮荆
蛮荆 · 2022-06-05T00:00:00Z

文章回顾了作者三年前接触OI的经历,讨论了滑动窗口和单调队列的应用,特别是优化求最小值算法的方法。通过代码示例,展示了如何使用单调队列提高效率,避免暴力解法的高时间复杂度。

POJ 2823 滑动窗口 单调队列 - 致逝去的青春

gyro永不抽风!
gyro永不抽风! · 2022-04-08T15:03:59Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码