本文探讨了大语言模型（LLM）推理中的成本、延迟和吞吐量之间的权衡，强调了硬件选择、模型架构和量化等因素对优化的影响。理解成本的多维特性和优化策略对于有效管理基础设施预算至关重要。通过合理的工程决策和基准测试，可以在吞吐量和延迟之间找到最佳平衡，以满足不同工作负载的需求。

本文讨论了推测解码在大语言模型推理中的应用，旨在加速请求而不影响输出。通过使用小型草稿模型生成多个候选令牌，主模型可以快速验证这些候选，从而提高生成速度。不同变体如EAGLE-3和SuffixDecoding针对不同限制进行了优化，显著提升了速度。推测解码与语义缓存相辅相成，有效降低请求延迟。选择合适的技术与工作负载匹配是实现最佳性能的关键。

多代理系统在处理任务时，单代理设置通常表现更好，尤其在顺序推理中。常见问题包括错误累积和一致性偏见，导致输出错误。代理间的协调和共享状态不清晰会加剧这些错误。因此，建议优先使用单代理架构，确保每一步验证输出，并在关键步骤保存状态以便恢复。Redis可以提供快速的内存和协调基础设施，提升多代理系统的可靠性。

大语言模型（LLM）微调是通过在特定任务数据集上继续训练预训练模型，以提高其在特定领域的表现。微调比从头开始训练更高效，允许组织定制模型行为，缩短生产时间。选择合适的微调方法可以降低计算成本和过拟合风险，适用于需要深度行为改变的任务。

Browser Harness是一种自愈式浏览器操控工具，允许大语言模型自主完成任务。它通过CDP协议与Chrome直接连接，去除了传统框架的限制。该工具设计简洁，代码量仅592行，支持云端浏览器服务，能自动处理错误并自我修复，展现出强大的自动化能力。

本文介绍了大语言模型中的推理缓存技术，强调其基本概念和重要性。推理缓存通过存储计算结果，减少重复计算，从而降低成本和延迟。主要有三种缓存类型：键值缓存（KV缓存）、前缀缓存和语义缓存。合理选择和组合这些缓存策略，可以显著提升生产系统的效率。

本文探讨了大语言模型（LLMs）在记忆事实知识方面的挑战，并提出通过训练数据修剪来提高事实准确性。研究表明，当训练数据中的信息量超过模型容量时，事实准确性会下降。作者提出了一种基于训练损失的数据选择方案，能够有效提升模型的事实记忆能力，甚至使小模型的表现接近大模型。

oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。它基于 ONNX Runtime，支持多平台和 NPU 加速，提供简便的模型转换和推理功能，兼容 OpenAI API。oBeaver 结合了 Microsoft Foundry Local 和 ONNX Runtime，适用于多种场景，未来将增强 GPU 和 NPU 支持。

最近，AI领域的“Harness”概念受到关注。它是围绕大语言模型（LLM）和智能体（Agent）构建的框架，负责管理代码、工具和上下文。Harness提供六大核心组件，显著提升了AI的效率和安全性，使其从“聊天玩具”转变为“生产力工具”。

Anthropic因未引用华人团队Chenxi Wang的研究而道歉。该团队的论文探讨了大语言模型的情绪生成机制，提出了“情绪回路”，实现高精度情绪控制。Anthropic已更新引用，双方交流友好。

编程智能体通过工具、记忆和代码上下文提升大语言模型的能力。文章介绍了其六大核心模块：实时代码仓库上下文、提示词缓存、工具调用、上下文管理、会话记忆和任务委派。这些模块协同工作，使编程智能体在处理编程任务时更高效，提升开发效率。

阿里巴巴推出新一代大语言模型Qwen3.6-Plus，悟空应用率先接入。该模型在编程、智能体和任务规划等方面表现优异，超越多款竞争对手，能够自主完成复杂任务，降低企业使用门槛，提高效率。