性能测试是保障系统稳定性的关键环节，然而分布式压测环境搭建复杂、客户端指标与服务端基础设施指标割裂、测试结果分析高度依赖专家经验，仍是许多团队面临的共性挑战。本文介绍 Load Testing Pilot——一个专为亚马逊云科技中国区域设计，通过单一 Amazon CloudFormation 模板实现一键部署的 Serverless 分布式压测与智能分析平台。平台支持多压测引擎与 LLM...

opencodex 是一个本地代理，把 Codex 的 Responses API 翻译成任意 LLM provider 的协议。你可以在 Codex CLI、Codex App、SDK 里用 Claude、Gemini、DeepSeek、Grok、GLM、Qwen 甚至本地 Ollama 模型——也能在 Claude Code...

When we benchmark an LLM serving setup, the number almost everyone reaches for first is throughput: how many requests per second the system can push through. It is easy to measure, easy to...

LLM 不是许愿机，而是一台概率机；高质量的上下文与持续的反馈，决定了它能否从「最可能」走向「真正可用」。

ABot-AgentOS是一种通用机器人智能体操作系统，旨在解决具身智能中的推理与执行、泛化和持久记忆等挑战。该系统结合多模态感知、记忆和推理，支持机器人在物理世界中的长期交互。通过边缘-云协同架构，ABot-AgentOS能够高效执行任务并优化技能，其多模态记忆系统确保机器人持续学习和利用经验，提升智能体整体能力。

本文介绍了在Kubernetes环境中自托管大型语言模型（LLM）的设置，使用vLLM作为推理引擎，LINSTOR提供持久存储。自托管可降低成本、提高控制力，并满足数据合规要求。通过创建持久卷声明和密钥，部署vLLM推理服务器，确保模型权重缓存以加快重启速度，支持高并发请求，适合混合AI应用。

本文讨论了随机A/B测试中的回归分析，强调随机化的重要性。通过随机分配用户，回归模型能够提供无偏的因果估计。文章介绍了使用OLS回归分析任务完成率变化的方法，包括添加协变量、聚类稳健标准误差和交互效应模型。同时指出在实验不干净时需采用其他方法处理潜在的混杂因素。

本文介绍了scikit-ollama如何将scikit-learn接口与本地Ollama模型结合，实现零-shot文本分类，无需云API。用户可以使用本地Llama 3模型加载电影评论情感数据集，并创建情感预测分类器，从而简化传统机器学习流程，避免数据隐私问题和订阅费用。

本文探讨了领域特定语言（DSL）与大型语言模型（LLM）的结合。LLM在DSL的约束环境中表现出色，能够根据自然语言生成代码。DSL提供明确的语法和语义模型，帮助开发者设计和实现复杂系统。文章介绍了Tickloom框架，展示了如何利用DSL简化分布式系统的开发与测试。LLM在设计阶段作为头脑风暴伙伴，在DSL建立后则作为自然语言接口，提升开发效率。

本文比较了三种主流开源LLM评估框架：RAGAS、DeepEval和Promptfoo，探讨了它们的用途和应用场景。文章指出了LLM作为评判者的偏见问题，包括位置偏见、自我偏好偏见和冗长偏见，并提供了检测和缓解这些偏见的方法。最后，建议团队结合使用多个工具，以确保评估的准确性和可靠性。

本文介绍了一种将非结构化用户评论转化为四级VOC标签体系的方法。该方法通过三阶段流程，结合LLM和语义聚类技术，提炼出清晰、可复用的标签结构，以分析用户反馈。每个阶段均可调参数，确保标签的准确性和一致性，最终生成的标签树可用于量化用户意见，提升产品改进效率。

为了解决LLM调用的无状态问题，需要将消息历史作为上下文发送给LLM。随着对话的进行，消息历史不断增长，可能超出LLM的上下文窗口限制，导致响应质量下降。因此，压缩对话历史是必要的。MAF提供了多种压缩策略，CompactionProvider支持摘要、折叠、删除和替换等策略，有效压缩消息历史，保留核心信息。

文章讨论了在产品实验中使用提升建模优化AI功能的推出策略。提升建模通过估计每个用户的条件平均处理效应（CATE），识别最能从新功能中受益的用户，实现分层推出，最大化用户价值并减少干扰。文中还介绍了使用Python和scikit-learn实现提升建模的具体步骤。

本文比较了三种大型语言模型（LLM）框架：LangChain、LlamaIndex和原始API调用。LangChain适合复杂应用的多步骤操作，LlamaIndex专注于高效的数据检索，而原始API调用则提供最低延迟和最高透明度。选择合适的框架应根据项目需求，简单任务使用原始API，文档检索使用LlamaIndex，状态管理和多步骤推理适合LangChain。建议根据实际需求逐步引入框架。

百曜科技发布了全球首个基于LLM-JEPA架构的AI虚拟细胞模型AURA CellOS，覆盖40余种人体组织和260余种细胞类型。该模型在细胞状态预测和扰动响应方面表现优异，显著提升细胞研究效率，可能改变新药研发方式。尽管面临数据稀缺和模型可解释性挑战，AURA CellOS的商业化潜力巨大，未来将成为新药研发的重要基础设施。

文章讨论了在共享LLM基础设施上进行A/B测试的挑战，特别是用户级随机化的局限性。为了解决这一问题，采用了切换实验设计，通过随机化时间段而非用户，确保所有用户在同一时间段内接受相同的处理。文章详细介绍了构建切换时间序列、调整滞后效应、使用HAC标准误差和引导置信区间的方法，以准确评估AI路由对任务完成率的影响。最后强调在进行基础设施投资前，需评估直接效应和滞后效应的经济性。