Reflection AI 的 Beam 模型已上线 AI Gateway,限时免费。该模型为低延迟美国开源权重推理模型,适用于编程和智能体任务,采用 Apache 2.0 许可,支持工具调用和结构化输出,上下文窗口达 100 万 token,可调推理强度。其每 token 仅激活 5010 亿参数中的 230 亿,速度更快。可通过标准名称或 -free 后缀免费使用,免费期结束后标准名称自动转付费。
Cat Jam 以隐身模型形式上线 AI Gateway,隐身期免费。该模型面向编程和智能体任务,低延迟,支持函数调用和 JSON 结构化输出,响应含推理文本。仅支持文本输入,提供多档推理强度。不支持零数据保留,提示可能因安全被保留。可通过 AI SDK、OpenAI 兼容 API、Anthropic 兼容 API 及编程智能体使用,模型名为 stealth/cat-jam。
Glyph Cluster 以隐身模型形式登陆 AI Gateway,面向 Pro 和 Enterprise 用户免费开放。该模型用于编程和长文本分析,支持多步规划、综合、定量推理、代码审查调试、函数调用和流式响应。仅接受文本输入,不支持图像、文件、结构化输出,也不提供零数据保留。可通过 AI SDK 或兼容 OpenAI 的接口调用。
本文介绍与AI沟通的提示词方法:先给任务、再加要求、最后赋予角色,可提升回答质量。核心原则是使用明确具体的指令,善用分隔符、关键词和背景信息。推荐BRTR框架(背景+角色+任务+要求),并针对DeepSeek推理模型提供目标、背景、结构化指令及5W2H、3W等场景化模板。
Cohere发布开源机器翻译模型North Small Translate,采用混合专家架构,总参数2180亿、激活250亿,支持50种语言。模型面向企业主权AI需求,可本地部署以保障数据安全,非商业用途免费。在WMT26基准测试中得分83.60,领先谷歌翻译等竞品,长文档翻译表现突出,并支持术语表、结构化翻译及多轮自审工作流。
2023年,OpenAI在“RLSlow”项目中首次看到扩展推理模型训练的成果,意识到机器智能将超越人类。三年后,推理模型已广泛应用于经济与科学,但带来安全风险。OpenAI强调需谨慎推进,聚焦对齐与监控技术,防止AI失控,同时呼吁国际协调与安全标准,确保人类掌控未来。
Meta发布Muse Spark 1.3推理模型,宣称在编码和智能体任务上进步最大,性能接近前沿且成本极低。该模型在基准测试中超越GPT-5.6和Claude Opus 5,独立测试显示其性价比最高。Meta还推出Muse Code编码代理及订阅计划,并预告开放权重版本及下一代模型Watermelon。
MiniMax H3是MiniMax推出的通用全模态生成模型,能同时处理文本、图片、视频和音频,并直接生成最高2K分辨率、24 FPS、15秒的视频。它统一了文生视频、图生视频、参考生视频和视频编辑等任务,采用音画联合生成机制,一次生成画面、语音、音效和音乐,强化了指令遵循和品牌渲染能力,适用于广告营销和多模态创作。
EchoCoT攻击论文揭示,通过API返回的推理元数据,可从黑盒大推理模型中提取隐藏思维链,开源模型近逐字保真,闭源模型长度贴近。攻击利用工具调用间隙,无需改变答案。防御性提示词可降低成功率,但存在残余缺口,风险真实存在。
OpenAI与Elastic扩大合作,结合OpenAI推理模型与Elasticsearch搜索及权限控制,解决企业AI的“上下文债务”问题。该集成覆盖上下文感知代理、可观测性与安全,通过预计算知识指标减少输入令牌使用并提升准确性,同时支持代理监控与攻击链分析,简化开发流程。
蚂蚁百灵发布新一代原生混合推理模型Ling-3.0-Flash,总参数量124B,激活仅5.1B,性能对标2-3倍参数模型。该模型针对Agent场景优化,采用混合注意力架构和KDA技术,提升长文本处理效率,降低延迟60%-80%,已上线OpenRouter限时免费,后续将开源。
本文介绍如何在本地运行Qwythos-9B-Claude-Mythos-5-1M模型,该模型为9B参数推理编码模型,适合消费级硬件。通过llama.cpp安装并启动服务,设置100K上下文和MTP推测解码,在RTX 4070 Ti Super上达到81.74 tokens/秒。随后安装Pi及llama插件,连接本地服务器作为编码代理。测试显示模型能成功构建浏览器游戏和CSV转Excel CLI工具,表现快速准确,无需外部API,适合日常编码任务。
科学家发现大脑中存在一个“情绪推理模型”,它整合身体信号、记忆和环境信息,以帮助判断安全与危险。被狗咬后,看到狗窝或狗主人可能会引发恐惧,这种现象称为“推理恐惧”,揭示了情绪反应的复杂性。焦虑症和创伤后应激障碍的根源在于该模型的失调,导致大脑错误地将无关事物视为危险。理解这一机制有助于治疗相关心理疾病。
HRM-Text是一个约1B参数的小型模型,训练成本仅1500美元,采用分层递归推理架构,强调在输出前进行深层内部计算。与传统大模型不同,HRM-Text关注思考和验证信息,而非仅增加参数和数据。其在多个推理基准测试中表现优异,表明新的计算结构可能是提升模型能力的关键,为未来AI推理模型的发展提供了新方向。
微软将在Build大会上发布新的AI模型和Windows改进,包括Copilot超级应用和新的推理AI模型。会议将专注于提升开发者体验,推出优化的Windows 11开发者环境,并介绍本地计算模型的应用。微软还将展示首个推理模型MAI-Thinking-1及其他新模型,以恢复开发者信任,特别是在GitHub方面。
推理模型标志着人工智能从被动知识检索向主动逻辑推演的转变。到2026年,推理模型广泛应用于开发、科研和复杂决策中,核心技术包括思维链、推理时计算和强化学习,使模型具备深度思考能力,能够自我纠错并处理复杂任务,如数学证明和代码重构。推理模型在高智力密度领域表现出色,成为AI发展的重要里程碑。
自适应并行推理(APR)是一种新兴的推理模型,能够动态决定何时并行化和分解任务。与传统顺序推理相比,APR通过并行处理多个线程,提高了推理效率,降低了延迟。研究表明,APR在复杂任务中表现出更高的准确性和更低的计算成本,但仍需解决训练稳定性和硬件适应性等问题。
本文讨论了从单机到多节点分布式推理部署的架构变化,强调了流水线并行(PP)与张量并行(TP)的结合使用。通过与Ray框架集成,vLLM实现了高效的分布式推理,管理集群资源并协调任务。文章还介绍了Ray集群的搭建、vLLM的配置及生产环境的优化建议,包括网络通信、性能调优和监控等关键步骤。
MEAI 更新至 10.4.0 版本,新增推理内容类型,便于获取推理字段。课程讲解如何启用推理模型、获取推理内容及其应用,支持流式和非流式获取,提升用户体验。
英伟达发布了开源模型Nemotron 3 Super,参数达到120B,性能优越,吞吐量提升5倍。未来五年将投入260亿美元用于开源AI模型研发,推动技术进步并开放模型权重和部署手册。
完成下面两步后,将自动完成登录并继续当前操作。