小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
速度即智能!TileRT 团队马凌霄详解:超低延迟大模型推理的计算探索与协同设计

文章报道了HyperAI主办的AI编译器技术沙龙,重点介绍TileRT团队在超低延迟大模型推理方面的进展。文章强调推理速度对AI应用的关键性,并阐述TileRT通过打破Kernel边界、细粒度调度和模型-系统协同设计,实现高速解码。文中列举了与智谱、小米等合作案例,展示400至1000 tokens/s的推理速度突破,并提及与vLLM的生态融合及Tile-AI社区发展。

速度即智能!TileRT 团队马凌霄详解:超低延迟大模型推理的计算探索与协同设计

HyperAI超神经 HyperAI超神经 · 2026-08-11T09:12:59Z
倒计时一天!智源/TileRT/腾讯/华为/智元创新多方集结,共探 AI 编译的多层级协同优化

8月1日北京将举办AI编译器技术分享会,智源、TileRT、腾讯、华为昇腾、智元创新等专家出席。议题涵盖Triton语言扩展、TileRT低延迟推理、FalconGEMM低复杂度矩阵乘法、AscendNPU IR开源及具身智能编译器,探讨多层级协同优化。活动限150人,需报名。

倒计时一天!智源/TileRT/腾讯/华为/智元创新多方集结,共探 AI 编译的多层级协同优化

HyperAI超神经 HyperAI超神经 · 2026-07-31T09:16:06Z
技术沙龙|智源/TileRT/腾讯/华为/智元创新集结北京,聚焦 AI 编译多层级优化实践

8月1日,北京将举行第九期Meet AI Compiler技术沙龙,邀请专家探讨AI编译器的最新进展,包括FlagTree语言扩展、TileRT超低延迟推理和FalconGEMM算子优化。活动将分析编译器在算子计算和推理执行中的协同演进,名额有限,建议提前报名。

技术沙龙|智源/TileRT/腾讯/华为/智元创新集结北京,聚焦 AI 编译多层级优化实践

HyperAI超神经 HyperAI超神经 · 2026-07-09T09:58:59Z
活动预告|智源/TileRT/腾讯/华为/智元创新同台,共探 AI 编译的多层级协同优化

由HyperAI超神经主办的Meet AI Compiler技术沙龙将于8月1日在北京举行,邀请多位专家分享AI编译器的前沿技术,旨在推动编译技术在大模型时代的演进。现场名额有限,欢迎报名参加。

活动预告|智源/TileRT/腾讯/华为/智元创新同台,共探 AI 编译的多层级协同优化

HyperAI超神经 HyperAI超神经 · 2026-07-02T06:36:16Z
活动预告丨上海创智/TileAI/华为/先进编译实验室齐聚上海,TVM/TileRT/PyPTO/Triton各显神通

随着AI模型规模的扩大,AI编译器成为硬件与应用之间的关键枢纽,提升计算性能和资源利用率。12月27日,第8期Meet AI Compiler技术沙龙将在上海举行,专家将分享软件栈设计、算子开发及性能优化等内容,探讨低延迟大模型推理和融合算子开发等技术。欢迎报名参与。

活动预告丨上海创智/TileAI/华为/先进编译实验室齐聚上海,TVM/TileRT/PyPTO/Triton各显神通

HyperAI超神经 HyperAI超神经 · 2025-12-03T06:55:01Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码