Reasoning models think before they answer, and those reasoning tokens are usually part of what you pay for. They're billed as output tokens, the expensive kind, and a single request can generate a...

分享了 12 篇文章，12 个开源项目

性能测试是保障系统稳定性的关键环节，然而分布式压测环境搭建复杂、客户端指标与服务端基础设施指标割裂、测试结果分析高度依赖专家经验，仍是许多团队面临的共性挑战。本文介绍 Load Testing Pilot——一个专为亚马逊云科技中国区域设计，通过单一 Amazon CloudFormation 模板实现一键部署的 Serverless 分布式压测与智能分析平台。平台支持多压测引擎与 LLM...

opencodex 是一个本地代理，把 Codex 的 Responses API 翻译成任意 LLM provider 的协议。你可以在 Codex CLI、Codex App、SDK 里用 Claude、Gemini、DeepSeek、Grok、GLM、Qwen 甚至本地 Ollama 模型——也能在 Claude Code...

When we benchmark an LLM serving setup, the number almost everyone reaches for first is throughput: how many requests per second the system can push through. It is easy to measure, easy to...

LLM 不是许愿机，而是一台概率机；高质量的上下文与持续的反馈，决定了它能否从「最可能」走向「真正可用」。

ABot-AgentOS是一种通用机器人智能体操作系统，旨在解决具身智能中的推理与执行、泛化和持久记忆等挑战。该系统结合多模态感知、记忆和推理，支持机器人在物理世界中的长期交互。通过边缘-云协同架构，ABot-AgentOS能够高效执行任务并优化技能，其多模态记忆系统确保机器人持续学习和利用经验，提升智能体整体能力。

本文介绍了在Kubernetes环境中自托管大型语言模型（LLM）的设置，使用vLLM作为推理引擎，LINSTOR提供持久存储。自托管可降低成本、提高控制力，并满足数据合规要求。通过创建持久卷声明和密钥，部署vLLM推理服务器，确保模型权重缓存以加快重启速度，支持高并发请求，适合混合AI应用。

本文讨论了随机A/B测试中的回归分析，强调随机化的重要性。通过随机分配用户，回归模型能够提供无偏的因果估计。文章介绍了使用OLS回归分析任务完成率变化的方法，包括添加协变量、聚类稳健标准误差和交互效应模型。同时指出在实验不干净时需采用其他方法处理潜在的混杂因素。

本文介绍了scikit-ollama如何将scikit-learn接口与本地Ollama模型结合，实现零-shot文本分类，无需云API。用户可以使用本地Llama 3模型加载电影评论情感数据集，并创建情感预测分类器，从而简化传统机器学习流程，避免数据隐私问题和订阅费用。

本文探讨了领域特定语言（DSL）与大型语言模型（LLM）的结合。LLM在DSL的约束环境中表现出色，能够根据自然语言生成代码。DSL提供明确的语法和语义模型，帮助开发者设计和实现复杂系统。文章介绍了Tickloom框架，展示了如何利用DSL简化分布式系统的开发与测试。LLM在设计阶段作为头脑风暴伙伴，在DSL建立后则作为自然语言接口，提升开发效率。

本文比较了三种主流开源LLM评估框架：RAGAS、DeepEval和Promptfoo，探讨了它们的用途和应用场景。文章指出了LLM作为评判者的偏见问题，包括位置偏见、自我偏好偏见和冗长偏见，并提供了检测和缓解这些偏见的方法。最后，建议团队结合使用多个工具，以确保评估的准确性和可靠性。

本文介绍了一种将非结构化用户评论转化为四级VOC标签体系的方法。该方法通过三阶段流程，结合LLM和语义聚类技术，提炼出清晰、可复用的标签结构，以分析用户反馈。每个阶段均可调参数，确保标签的准确性和一致性，最终生成的标签树可用于量化用户意见，提升产品改进效率。

为了解决LLM调用的无状态问题，需要将消息历史作为上下文发送给LLM。随着对话的进行，消息历史不断增长，可能超出LLM的上下文窗口限制，导致响应质量下降。因此，压缩对话历史是必要的。MAF提供了多种压缩策略，CompactionProvider支持摘要、折叠、删除和替换等策略，有效压缩消息历史，保留核心信息。