小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
Kthena + vLLM-Ascend:云原生大模型推理的编排与调度实践

本文探讨了Kthena与vLLM-Ascend在云原生大模型推理中的应用,解决了Kubernetes在分布式推理中的拓扑约束和状态感知缺失问题。Kthena通过智能调度和流量管理提升了推理效率,降低了延迟,简化了部署流程,展现了大模型服务平台的未来潜力。

Kthena + vLLM-Ascend:云原生大模型推理的编排与调度实践

华为云官方博客
华为云官方博客 · 2026-04-03T07:54:14Z

在Ascend 310P故障排查中,发现由于虚拟环境缺少systemd,导致无法获取卡信息。定制镜像并安装systemd后,成功识别npu资源。

Ascend 310P + openFuyao + NPU-Operator 故障排查

Frytea's Blog
Frytea's Blog · 2026-04-01T14:26:36Z

MindCluster ToolBox 是一款集群运维和硬件管理工具,提供设备监控、性能测试和日志收集功能。安装包括下载工具包、设置环境变量和验证安装。用户可查询 NPU 状态、检测信号质量、进行性能测试和故障诊断。

Ascend DMI 工具使用指南

陈少文的博客
陈少文的博客 · 2025-06-17T00:00:00Z
面向AI的华为昇腾NPU参数汇总整理

文章介绍了华为Atlas系列服务器,包括Atlas 300V、300I Pro、300I Duo和Ascend 910B等型号,并提供了相关链接以获取更多信息。

面向AI的华为昇腾NPU参数汇总整理

AI柠檬
AI柠檬 · 2025-05-24T10:00:53Z

本研究提出深度缩放三明治归一化技术,解决大型语言模型训练中的系统优化和稳定性问题。通过在13.2万亿语料上预训练,Pangu Ultra显著提升了稠密LLM能力,展示了昇腾NPUs的高效性。

盘古超越:在Ascend神经处理单元上推动密集大语言模型的极限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-10T00:00:00Z
LWiAI播客第203期 - Gemini图像生成、Ascend 910C、Gemma 3、Gemini机器人

华为的Ascend 910C芯片在人工智能领域与NVIDIA竞争,谷歌称Gemma 3为单GPU上最强大的AI模型。OpenAI的新功能引发网络安全担忧,谷歌对Anthropic的30亿美元投资显示其AI战略。中国指示AI高管避免前往美国,反映安全关注。

LWiAI播客第203期 - Gemini图像生成、Ascend 910C、Gemma 3、Gemini机器人

Last Week in AI
Last Week in AI · 2025-03-18T05:13:28Z

本文介绍了HCCL的初始化配置,包括通信网卡IP、端口号、超时设置和白名单功能。用户可通过环境变量配置网卡、协议、缓存大小及通信算法,以优化集群通信性能。

Ascend 环境变量配置

陈少文的博客
陈少文的博客 · 2025-01-20T00:00:00Z

本文讲述了如何优化昇腾AI处理器上的Matmul算子性能。通过优化分核逻辑、基本块和数据搬运,提升矩阵乘法效率。方法包括增加并行计算核数、选择最佳参数、提高数据搬运效率等。优化后,执行时间显著减少,性能提升明显,适用于大规模数据场景。

基于Ascend C的Matmul算子性能优化最佳实践

华为云官方博客
华为云官方博客 · 2024-10-15T06:36:27Z

《陆舒雨的笔记本》是一本探索生活中承担负担的书籍,它为我们的经历增添了深度和意义。

HUAWEI Ascend C 算子学习笔记

Lu Shuyu
Lu Shuyu · 2024-07-03T01:17:50Z

本文介绍了华为云Ascend C的FlashAttention算子性能优化实践,通过计算等价和切分有效降低HBM数据访问量,提升Attention处理性能。优化手段包括tiling基本块大小调整、核间负载均衡、CV流水并行、MTE2流水优化以及FixPipe流水优化等。实测在典型场景中性能提升4倍左右。开发者可参考此案例进行融合算子的性能优化。

基于Ascend C的FlashAttention算子性能优化最佳实践

华为云官方博客
华为云官方博客 · 2024-06-12T06:14:23Z

本文介绍了华为云Ascend C算子的调用方式,包括Kernel直调、单算子调用和在第三方框架中调用算子。重点介绍了单算子API执行方式调用算子的步骤,包括初始化、申请内存、传输数据、计算workspace大小、执行算子、同步等待和释放资源等。同时提供了完整的样例工程和编译运行步骤。

一文教你如何调用Ascend C算子

华为云官方博客
华为云官方博客 · 2024-05-29T03:11:31Z

本文介绍了Ascend NPU驱动、固件及Docker运行时的安装步骤,包括创建用户、下载驱动和固件、安装Docker或Containerd、配置和验证安装。最后提供了加入K8s集群及创建测试Pod的指导。

Ascend NPU 驱动安装

陈少文的博客
陈少文的博客 · 2024-05-28T00:00:00Z

本文介绍了华为云Ascend C自定义算子的Kernel Launch调用方式。通过ACLRT_LAUNCH_KERNEL调用接口,可以异步调用算子核函数,并提供参数列表。华为云官方提供了简易的算子工程,开发者可以基于该工程进行算子开发。文章还提供了算子工程的目录结构和开发步骤。最后,文章展示了一个PRelu算子的示例代码,包括核函数的实现和调用应用程序的主函数。

Ascend C 自定义算子 Kernel Launch调用入门

华为云官方博客
华为云官方博客 · 2024-04-09T08:04:58Z

本文介绍了Ascend C自定义PRelu算子的开发过程,PRelu是Relu的改进版本,可以提升模型的拟合能力和减小过拟合风险。文章详细介绍了安装开发者套件、生成算子工程代码、修改配置项、编译算子工程、验证算子正确性的步骤。

Ascend C 自定义PRelu算子

华为云官方博客
华为云官方博客 · 2024-04-08T08:27:52Z

本文介绍了华为云Ascend C孪生调试的方法。通过调用Ascend C类库编写Ascend C算子kernel侧源码,可以在CPU域和NPU域进行调试。CPU域调试可以定位逻辑错误和内存错误,NPU域调试可以定位功能问题、性能问题和算子同步问题。CPU域调试可以使用gdb调试和printf打印命令,NPU域调试可以使用上板数据打印和PRINTF命令。通过具体的调试样例,可以帮助开发者快速掌握调试方法。

一文掌握Ascend C孪生调试

华为云官方博客
华为云官方博客 · 2023-12-12T09:56:42Z

本文介绍了华为云社区《Ascend算子开发入门笔记》中的矢量编程、内存管理、算子分析和实现等内容,包括向量加法的代码示例和Ascend C算子调用的流程和接口。同时,介绍了double buffer机制,提高矢量计算单元的利用效率。

手敲,Ascend算子开发入门笔记分享

华为云官方博客
华为云官方博客 · 2023-10-10T01:35:10Z

本文介绍了华为云Ascend C编程范式,使用张量作为数据载体,使用队列进行任务之间的通信与同步,使用内存管理模块管理任务间的通信内存。同时,介绍了使用Ascend C编程范式实现算子实例的流程,包括算子分析、核函数定义、算子类实现、以及内核调用符方式进行算子验证。最后,介绍了华为全联接大会2023的相关信息。

3天上手Ascend C编程丨通过Ascend C编程范式实现一个算子实例

华为云官方博客
华为云官方博客 · 2023-09-11T09:48:02Z

本文介绍了Ascend C算子开发入门的第一次课程,包括Ascend C的优势、多层级API接口以及重要的知识点。Ascend C是CANN针对算子开发场景推出的编程语言,提高算子开发效率。Ascend C提供了0-3级API接口,开发者可以根据需要选择合适的API进行算子逻辑搭建和性能调优。介绍了重复迭代次数、相邻迭代间相同block的地址步长、同一迭代内不同block的地址步长和Mask参数的设置方法。华为全联接大会将于2023年举办,邀请业界同仁探讨智能化的关键举措。

3天上手Ascend C编程丨带你认识Ascend C基本概念及常用接口

华为云官方博客
华为云官方博客 · 2023-09-05T09:30:18Z

华为在2023年5月6日的昇腾AI开发者峰会上发布了面向算子开发场景的昇腾Ascend C编程语言,提高了算子的开发效率。昇腾AI处理器有多个AI Core,使用Ascend C编程语言开发的算子运行在AI Core上,实现高效的并行计算。Ascend C编程范式包括流水线式编程和矢量编程,通过队列和内存管理模块实现任务间通信和同步。核函数是Ascend C算子的入口,通过封装和调用核函数实现算子的计算。

纯干货!一文get昇腾Ascend C编程入门全部知识点

华为云官方博客
华为云官方博客 · 2023-09-01T10:01:47Z

本文介绍了Ascend C编程语言和算子开发流程,包括多核并行、流水并行和孪生调试的概念和实现方法。同时,还介绍了开发流程和环境准备的步骤,并提供了核函数开发和核函数运行验证的示例代码。

Ascend C保姆级教程:我的第一份Ascend C代码

华为云官方博客
华为云官方博客 · 2023-08-31T09:44:37Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码