➡️
继续阅读
-
Chip Huyen 讲解如何在不添置新硬件的情况下降低推理成本
Chip Huyen在P99大会上指出，模型训练是一次性成本，推理成本则反复发生，比例可达1:10至1:100。她建议关注首token延迟和goodput...
-
它通过了CI，也通过了你的评估。客户拿到的却仍是错误答案。
AI功能存在可观测性缺口：传统服务故障明显，AI代理却会静默返回错误答案。以支持代理为例，通过分布式追踪可定位问题——检索时版本过滤为空导致返回旧版文档，...
-
图片一多首字就慢？用EPD拆开多模态推理三段路
多模态推理采用EPD拆分，将视觉编码、预填充、解码分队列调度，以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示，图片密集负载下首字延迟最高快5倍...
-
温网、美网与数学的未来
数学家史蒂文·斯特罗加茨在采访中谈及AI与数学时落泪，并非担心失业，而是感慨数学四千年的人文传统：它不仅是结果，更是代际间关于“为何为真”的对话。AI浪潮...
-
AI破解世纪数学难题！25位菲尔兹奖得主集体破防，数学家彻底慌了
OpenAI称其AI用88小时攻克纳维-斯托克斯方程，随后25位菲尔兹奖得主联名警告AI与数学界存在严重错位。数学家担忧AI跳过理解、检验与传承过程，使数...
-
数学之后
陶哲轩博客的客座文章讨论了OpenAI宣称用AI解决纳维-斯托克斯问题。作者认为AI给出的是“答案”而非真正“解答”，因为数学证明既需逻辑正确，也需人类可...
