本文探讨了大语言模型（LLM）推理中的成本、延迟和吞吐量之间的权衡，强调了硬件选择、模型架构和量化等因素对优化的影响。理解成本的多维特性和优化策略对于有效管理基础设施预算至关重要。通过合理的工程决策和基准测试，可以在吞吐量和延迟之间找到最佳平衡，以满足不同工作负载的需求。

大语言模型（LLM）微调是通过在特定任务数据集上继续训练预训练模型，以提高其在特定领域的表现。微调比从头开始训练更高效，允许组织定制模型行为，缩短生产时间。选择合适的微调方法可以降低计算成本和过拟合风险，适用于需要深度行为改变的任务。

Browser Harness是一种自愈式浏览器操控工具，允许大语言模型自主完成任务。它通过CDP协议与Chrome直接连接，去除了传统框架的限制。该工具设计简洁，代码量仅592行，支持云端浏览器服务，能自动处理错误并自我修复，展现出强大的自动化能力。

本文介绍了大语言模型中的推理缓存技术，强调其基本概念和重要性。推理缓存通过存储计算结果，减少重复计算，从而降低成本和延迟。主要有三种缓存类型：键值缓存（KV缓存）、前缀缓存和语义缓存。合理选择和组合这些缓存策略，可以显著提升生产系统的效率。

本文探讨了大语言模型（LLMs）在记忆事实知识方面的挑战，并提出通过训练数据修剪来提高事实准确性。研究表明，当训练数据中的信息量超过模型容量时，事实准确性会下降。作者提出了一种基于训练损失的数据选择方案，能够有效提升模型的事实记忆能力，甚至使小模型的表现接近大模型。

最近，AI领域的“Harness”概念受到关注。它是围绕大语言模型（LLM）和智能体（Agent）构建的框架，负责管理代码、工具和上下文。Harness提供六大核心组件，显著提升了AI的效率和安全性，使其从“聊天玩具”转变为“生产力工具”。

oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。它基于 ONNX Runtime，支持多平台和 NPU 加速，提供简便的模型转换和推理功能，兼容 OpenAI API。oBeaver 结合了 Microsoft Foundry Local 和 ONNX Runtime，适用于多种场景，未来将增强 GPU 和 NPU 支持。

Anthropic因未引用华人团队Chenxi Wang的研究而道歉。该团队的论文探讨了大语言模型的情绪生成机制，提出了“情绪回路”，实现高精度情绪控制。Anthropic已更新引用，双方交流友好。

编程智能体通过工具、记忆和代码上下文提升大语言模型的能力。文章介绍了其六大核心模块：实时代码仓库上下文、提示词缓存、工具调用、上下文管理、会话记忆和任务委派。这些模块协同工作，使编程智能体在处理编程任务时更高效，提升开发效率。

阿里巴巴推出新一代大语言模型Qwen3.6-Plus，悟空应用率先接入。该模型在编程、智能体和任务规划等方面表现优异，超越多款竞争对手，能够自主完成复杂任务，降低企业使用门槛，提高效率。

本文探讨了福州大学利用大语言模型（LLM）解析假期调课通知的实践。通过将自然语言通知转化为结构化调课信息，系统显著减轻了用户的认知负担。LLM被封装为函数，能够高效解析不同格式的通知，提升用户体验，最终自动生成调整后的课程表。

本文探讨了AI领域的基本术语与概念，重点介绍了大语言模型（LLM）、Token、上下文（Context）和记忆（Memory）。大模型通过数学运算处理文本，Token是最小单元，而Context是模型的临时记忆。文章还讨论了如何通过提示词（Prompt）与模型互动，以及Agent的自主决策能力，并展望了AI技术的未来发展。