➡️
继续阅读
-
5 个免费 Zoomcamp 课程:从数据管道到 AI 智能体
DataTalks.Club 提供五个免费社区驱动的 Zoomcamp 课程:数据工程、机器学习、MLOps、LLM 应用开发和 AI 开发工具,涵盖数据...
-
4 bit模型为何不等于显存缩小四倍?量化账单这样算
4 bit量化通常只压缩权重,激活仍为16 bit,因此显存不会缩小四倍。以70亿参数模型为例,4 bit权重约3.26 GiB,加分组比例因子约0.10...
-
LangChain官方接入Jev:用Jev模型搭建智能体Harness
TypeSafe AI 推出 Jev“系统一”模型,专注结构化决策,不生成文本,通过 RLCD 训练提升概率输出准确性。在分类任务中,其推理速度比传统方法...
-
vLLM 新增支持 NVIDIA GPU 硬件视频解码,多 GPU 视频描述吞吐最高提升一倍以上
vLLM 通过集成 PyNvVideoCodec 正式支持 NVIDIA GPU 硬件视频解码(NVDEC),将视频解码从 CPU 迁移至 GPU,解决视...
-
AI判断模型Jev半秒验出大模型幻觉,准确率追平Gemini但快了八倍
TypeSafe推出判断模型Jev,专用于分类判断而非文本生成,可核查事实、校验引用、重排搜索结果、归类笔记、诊断智能体失败原因。其响应仅0.35至0.5...
-
Anthropic开源Claude编写的GPU优化程序,生物分子模型推理加速4倍
Anthropic开源了Claude编写的GPU优化代码,在不到四周内将30多个生物分子模型推理平均加速约4倍,精度损失极小。Claude还自主编写了Fl...