小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
🧠 神经处理单元(NPU):开创人工智能加速的新前沿

神经处理单元(NPU)是专为神经网络计算设计的硬件加速器,优化AI工作负载,提升移动、嵌入式和边缘设备的机器学习模型速度和能效,同时确保数据隐私。开发者应利用优化库和量化模型以提升应用性能,NPU正成为智能计算的新标准。

🧠 神经处理单元(NPU):开创人工智能加速的新前沿

DEV Community
DEV Community · 2025-04-15T13:08:32Z
TensorFlow中的TPU与GPU:机器学习的关键区别与应用场景

TPU和GPU是机器学习中的两种重要硬件加速器。TPU专为深度学习优化,适合大规模模型训练;GPU通用性强,适合多种任务。TPU性能优越但成本高,GPU易用且经济,适合小型项目。选择应根据具体需求。

TensorFlow中的TPU与GPU:机器学习的关键区别与应用场景

DEV Community
DEV Community · 2025-04-08T03:37:56Z
高性能计算,代码量大幅减少

麻省理工学院研究人员开发了新编程语言Exo 2,允许程序员自定义调度,显著减少代码量并提升性能。Exo 2在多个平台上与先进库竞争,简化高性能计算的优化过程,并支持硬件加速器,未来将扩展对更多硬件的支持。

高性能计算,代码量大幅减少

MIT News - Computer Science and Artificial Intelligence Laboratory (CSAIL)
MIT News - Computer Science and Artificial Intelligence Laboratory (CSAIL) · 2025-03-13T20:30:00Z

本研究提出JAQ框架,解决资源受限边缘设备上神经网络架构与硬件加速器的联合设计问题。JAQ通过通道稀疏量化和BatchTile方法显著减少内存开销,加速硬件搜索。在ImageNet上的实验表明,Top-1准确率提高约7%,硬件搜索时间降至0.15秒。

JAQ: Joint Efficient Architecture Design and Low-Bit Quantization through Hardware-Software Co-Exploration

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-09T00:00:00Z
Kubernetes 中的魔法正在发生

在盐湖城举行的CNCF大会上,'云原生'对不同人有不同的理解。多个项目正在为2025年做准备,平台将支持多种应用模式,如数据库服务和事件驱动API。人工智能推动了对硬件加速器的需求,OpenShift平台将不断演进,以适应未来的工作负载。

Kubernetes 中的魔法正在发生

The New Stack
The New Stack · 2024-11-12T22:00:40Z

本研究探讨了在苹果iPhone等设备上运行大型语言模型(LLMs)的可行性与性能,分析了硬件加速器对模型优化的影响,并提出了在资源受限环境中部署LLMs的指导方针,强调了性能与资源利用之间的平衡。

中小企业的设备内大型语言模型:挑战与机遇

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z
GPU 与 TPU 哪个更适合 AI 工作负载?

随着人工智能的发展,对高性能硬件加速器的需求增加。GPU 适合灵活性高和广泛计算的任务,但功耗高。TPU 专为深度学习设计,能效高,适合大规模模型。选择取决于具体需求:小型项目用GPU,大型深度学习项目用TPU。

GPU 与 TPU 哪个更适合 AI 工作负载?

实时互动网
实时互动网 · 2024-10-14T03:57:37Z

本文研究了大型语言模型(LLMs)在不同硬件加速器上的性能,特别是在AMD FPGA上实现的BERT和GPT2模型,显示出显著的性能和能效提升。同时,探讨了新型硅光子硬件加速器在图数据处理中的应用,提升了吞吐量和能源效率。此外,分析了LLMs在移动设备上的执行情况,并提出了优化架构和压缩技术的解决方案,以应对资源限制问题。

大型语言模型的硬件加速:全面调查与比较

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-05T00:00:00Z

本研究提出了一种名为Snowflake的编译器和定制硬件加速器,优化了卷积神经网络的性能。通过FPGA实现的DNN算法-硬件协同优化框架显著提高了能效和性能,并探讨了深度学习模型的硬件优化方法及未来挑战。

火萤 AI-HPC:一种经济高效的软件-硬件协同设计用于深度学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-26T00:00:00Z

本文研究了大型语言模型(LLMs)推理服务的能源效率,提出了一种混合数据中心模型,通过动态分配硬件加速器降低能耗,能耗降低7.5%。同时,介绍了ServerlessLLM系统,推理性能显著提高,延迟比现有技术快10-200倍。此外,研究还探讨了在SQL查询中优化LLM调用的方法,提升了4.4倍的延迟性能。

DynamoLLM: 对性能和能效进行设计的 LLM 推断集群

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-01T00:00:00Z

本文介绍了一种优化的 Transformer 硬件加速器,专为 AIoT 系统中的设备端时间序列预测设计。通过整数量化和量化感知训练,实现了 4 位和 6 位量化模型,性能接近 8 位模型。实验结果显示,4 位模型测试损失仅增加 0.63%,运行速度提升 132.33 倍,能耗降低 48.19 倍,证明了在嵌入式 IoT 设备上部署 Transformer 模型的可行性。

KWT-Tiny:RISC-V 加速,嵌入式关键词检测 Transformer

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-22T00:00:00Z

本研究探讨了协同设计神经网络架构与硬件加速器的重要性,发现联合搜索方法在延迟目标上优于传统方法,显著降低边缘加速器的能耗。提出了一种新的贝叶斯优化框架,自动识别优化点,改善能量延迟性能,并通过量化和成本限制优化边缘平台的系统设计。

集成硬件架构与设备位置搜索

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-18T00:00:00Z

本文介绍了智能处理单元(IPU)的架构与性能,分析了其在并行计算中的优势。研究表明,IPU在蝶形结构实现上可提高性能,并在实际数据集上加速训练时间。与传统处理器相比,IPU在AI/ML应用中展现出显著的吞吐量和能效优势,为下一代硬件加速器的发展提供了参考。

迁移机器学习模型至智能处理单元的洞察

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-16T00:00:00Z

该研究综述了大型语言模型的硬件加速器,分析了其性能和能源效率,并提供了优化部署的见解。研究探讨了不同加速器的架构、性能指标及训练策略,强调提高效率的必要性,并创建了相关文献的GitHub存储库,以支持进一步探索。

数据中心中大型语言模型开发的特征

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-12T00:00:00Z

本文提出了一种可配置的硬件木马,用于硬件加速器后门攻击。作者通过实验证明了该攻击的可行性与危险性,并指出了硬件加速器中深度学习模型的漏洞和安全问题。为未来的研究和应用提供了重要参考。

通过对抗电源迹线的逃避式硬件木马

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-04T00:00:00Z

提出了一种新的内存数据排列策略,通过硬件加速器的内核大小来减小芯片外数据访问,特别适用于基于广义矩阵乘法(GEMM)的终端到终端变压器模型推理。实验证明该方法能够实现高达2.8倍的速度提升。

加速器驱动的数据排列在多核架构上最小化变压器运行时间

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-20T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码