小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
EP205:CPU与GPU与TPU的比较

支持多客户端,网页和移动应用可请求不同数据。网页客户端使用GET /v2/home获取详细信息,移动客户端使用GET /v1/home获取轻量响应。网关负责版本控制和数据转换,后端服务无需了解客户端类型。

EP205:CPU与GPU与TPU的比较

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-03-07T16:31:24Z

本文介绍了使用vllm库生成文本的代码示例,包括采样参数设置、提示和答案的定义,以及通过LLM模型生成文本并验证输出的过程。

【vLLM 学习】TPU

HyperAI超神经
HyperAI超神经 · 2026-03-02T05:31:10Z
融资34亿!谷歌前TPU员工创业新型芯片,卡帕西也投了

MatX公司由前谷歌TPU员工创办,获得5亿美元融资,计划于2027年推出新型AI芯片,旨在实现高吞吐量和低延迟,挑战英伟达的市场地位。创始人Reiner Pope和Mike Gunter拥有丰富的软硬件经验,MatX将融合两种主流芯片设计理念。

融资34亿!谷歌前TPU员工创业新型芯片,卡帕西也投了

量子位
量子位 · 2026-02-25T07:08:40Z
为什么AI需要GPU和TPU:大型语言模型背后的硬件

Granola是一款AI笔记工具,帮助用户在会议中保持专注,将对话转化为实际进展。它支持生成任务、搜索项目对话和创建自定义提示,适用于多种会议应用。文章还讨论了GPU和TPU在现代大语言模型中的重要性,强调并行计算和内存带宽对AI性能的影响。

为什么AI需要GPU和TPU:大型语言模型背后的硬件

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-01-19T16:30:29Z
谷歌的张量处理单元(TPU)是如何工作的?

TPU(张量处理单元)是谷歌为深度学习设计的专用芯片,采用脉动阵列结构,显著提升计算效率。通过减少数据移动和优化矩阵运算,TPU解决了计算瓶颈,支持大规模语言模型的训练与推理。

谷歌的张量处理单元(TPU)是如何工作的?

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-01-05T16:31:12Z

英伟达与AI芯片初创公司Groq达成200亿美元的技术许可协议,旨在获取其核心团队和技术,以增强AI推理能力。Groq将继续独立运营,英伟达计划整合其低延迟处理器。

黄仁勋200亿美元带走「TPU核心班底」

量子位
量子位 · 2025-12-25T04:07:01Z

vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →源码此脚本用于分析 vLLM 在特定预填充(prefill)或解码(decode)令牌形状下的 TPU 性能表现。注意:实际运行的服务器会混合处理多种形状的预填充和解码请求。假设您已在使用 TPU 环境(本测试基于 TPU...

【vLLM 学习】vLLM TPU 分析

HyperAI超神经
HyperAI超神经 · 2025-12-17T09:21:56Z
LWiAI播客第227期 - Jeremie回来了!DeepSeek 3.2、TPU、嵌套学习

本期节目讨论了上周的AI新闻,包括Deep Seek 3.2和Flux 2的发布、亚马逊与谷歌的新AI芯片、Anthropic的潜在IPO,以及DeepMind和谷歌的研究论文,展示了AI领域的重要进展。

LWiAI播客第227期 - Jeremie回来了!DeepSeek 3.2、TPU、嵌套学习

Last Week in AI
Last Week in AI · 2025-12-09T08:41:54Z

未来可能出现专为机器人设计的AI芯片,或融合NPU与GPU优势的"边缘训练芯片",但**"匹配场景需求"始终是选择硬件的核心逻辑**。——通过合理搭配CPU、GPU、TPU和NPU,让合适的芯片处理合适的任务,以达到整体最优的算力效率,这是未来AI系统发展的关键方向。GPU、TPU和NPU是当前AI计算领域的三大核心处理器,它们在架构设计、性能特点和应用场景上各有侧重,形成了互补的AI算力生...

GPU、TPU和NPU的技术比较

dotNET跨平台
dotNET跨平台 · 2025-12-02T00:01:33Z

华尔街对谷歌TPU的关注引发学术界质疑,认为Meta等公司早已在使用TPU。谷歌与Meta的TPU交易被视为对抗英伟达的策略,但分析认为谷歌的目的不仅是盈利,更是通过合作确保芯片供应。

华尔街尬捧TPU学术界懵了:何恺明5年前就是TPU编程高手,多新鲜

量子位
量子位 · 2025-11-30T02:15:09Z
台积电起诉跳槽英特尔的前高管;英伟达称其GPU比谷歌TPU领先一代;华为发布Mate 80系列智能手机

华为发布Mate 80系列手机,台积电起诉前高管,库克继续领导苹果,鸿海在美国扩展,英伟达称其GPU领先谷歌TPU。阿里云收入增长,惠普计划裁员4000至6000人,马斯克推进Grok替代员工,思科投资AI初创公司,SK电信与三星合作开发6G技术。

台积电起诉跳槽英特尔的前高管;英伟达称其GPU比谷歌TPU领先一代;华为发布Mate 80系列智能手机

全球TMT-美通国际
全球TMT-美通国际 · 2025-11-26T04:55:48Z

英伟达祝贺谷歌TPU的成功,但强调其GPU仍处于领先地位。谷歌计划向Meta等推广TPU,可能影响英伟达10%的年收入。两家公司在AI芯片市场的竞争加剧,英伟达通过投资和合作维护市场地位。

英伟达:祝贺谷歌TPU成功,但GPU领先一代

量子位
量子位 · 2025-11-26T04:29:57Z

谷歌推出第七代TPU Ironwood,专为AI推理设计,性能提升4倍。该芯片可连接9216个芯片,优化计算效率,推动硬件与AI研究的协同发展。

关于Ironwood,我们最新的TPU,有三件事你需要知道

The Keyword
The Keyword · 2025-11-25T16:00:00Z

英伟达与谷歌在太空AI算力竞争中加速,英伟达的H100已由Starcloud卫星发射,谷歌计划在2027年发射TPU。同时,中国的之江实验室已发射12颗计算卫星,展现出强大的计算能力,太空AI竞赛愈发激烈。

AI算力大战打到太空!英伟达前脚H100入轨,谷歌TPU后脚上天,中国玩家笑而不语

量子位
量子位 · 2025-11-05T02:33:30Z
谷歌也准备将TPU张量计算单元发射到太空构建数据中心 利用太阳能发电

谷歌计划在2027年前发射TPU张量计算单元卫星,利用太阳能在太空建立数据中心,以降低电力成本并推动人工智能发展。该项目名为阳光捕手,旨在利用太空清洁能源,但需解决通信和辐射耐受性等挑战。

谷歌也准备将TPU张量计算单元发射到太空构建数据中心 利用太阳能发电

蓝点网
蓝点网 · 2025-11-05T02:25:01Z
Anthropic将训练并部署Claude模型,计划调用高达100万个TPU

Anthropic宣布将在2026年前大幅增加对谷歌云TPU芯片的使用,计划获得超过100万吉瓦的算力支持,价值数百亿美元,以训练和部署新一代Claude模型。

Anthropic将训练并部署Claude模型,计划调用高达100万个TPU

全球TMT-美通国际
全球TMT-美通国际 · 2025-10-24T06:33:26Z
vLLM TPU:支持PyTorch和JAX的新统一后端

vLLM TPU通过tpu-inference插件整合JAX和PyTorch,显著提升性能和模型支持。新设计优化了TPU性能,支持多种模型,简化开发流程。RPA v3内核增强灵活性和效率,SPMD模型提升性能,整体性能较2025年原型提升近5倍,推动开源TPU推理的发展。

vLLM TPU:支持PyTorch和JAX的新统一后端

vLLM Blog
vLLM Blog · 2025-10-16T00:00:00Z

三个月、零基础手搓一块TPU,能推理能训练,还是开源的

机器之心
机器之心 · 2025-08-24T12:21:00Z

OpenAI转向谷歌TPU:宿敌也能变朋友?

机器之心
机器之心 · 2025-06-28T10:32:27Z
谷歌人工智能基础设施产品经理谈新款TPU、液冷技术及更多

谷歌在Cloud Next 25大会上推出了新款TPU加速器Ironwood,性能显著提升。每个模块包含9216个芯片,总计算能力达到42.5 exaflops,功耗性能提升2倍。谷歌采用液冷系统保持TPU温度,客户在选择TPU或GPU时需考虑工作负载。尽管硬件不断进步,模型架构变化更快,谷歌与DeepMind的合作助力前瞻性设计。

谷歌人工智能基础设施产品经理谈新款TPU、液冷技术及更多

The New Stack
The New Stack · 2025-05-13T15:00:26Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码