还记得第一次与...

Recently, five teams in the Rust project adopted a policy that I originally authored, governing how Large Language Models can be used when contributing to the rust-lang/rust monorepo. Notably, the...

In this article, you will learn how static, dynamic, and continuous batching work in LLM inference, and why the differences between them matter at production...

德国埃尔朗根-纽伦堡大学等机构的研究团队发表的论文《Scaling LLM-Driven Multi-Agent Systems: Design Principles and Architectural Scalability...

本文将系统介绍 Text-only LLM SFT 训练数据预处理的完整流程，涵盖从数据收集到最终打包的每一个环节，并结合真实客户案例给出实操建议。这里需要说明的是，本文聚焦于纯文本场景，且不涉及代码生成和 SQL 相关的场景。从 2025 年的行业趋势来看，代码和 SQL 相关场景基本上都是基于开源模型权重或闭源模型来构建实现的，需要针对代码和SQL相关场景做post training...

Reasoning models think before they answer, and those reasoning tokens are usually part of what you pay for. They're billed as output tokens, the expensive kind, and a single request can generate a...

分享了 12 篇文章，12 个开源项目

性能测试是保障系统稳定性的关键环节，然而分布式压测环境搭建复杂、客户端指标与服务端基础设施指标割裂、测试结果分析高度依赖专家经验，仍是许多团队面临的共性挑战。本文介绍 Load Testing Pilot——一个专为亚马逊云科技中国区域设计，通过单一 Amazon CloudFormation 模板实现一键部署的 Serverless 分布式压测与智能分析平台。平台支持多压测引擎与 LLM...

opencodex 是一个本地代理，把 Codex 的 Responses API 翻译成任意 LLM provider 的协议。你可以在 Codex CLI、Codex App、SDK 里用 Claude、Gemini、DeepSeek、Grok、GLM、Qwen 甚至本地 Ollama 模型——也能在 Claude Code...

When we benchmark an LLM serving setup, the number almost everyone reaches for first is throughput: how many requests per second the system can push through. It is easy to measure, easy to...

LLM 不是许愿机，而是一台概率机；高质量的上下文与持续的反馈，决定了它能否从「最可能」走向「真正可用」。

ABot-AgentOS是一种通用机器人智能体操作系统，旨在解决具身智能中的推理与执行、泛化和持久记忆等挑战。该系统结合多模态感知、记忆和推理，支持机器人在物理世界中的长期交互。通过边缘-云协同架构，ABot-AgentOS能够高效执行任务并优化技能，其多模态记忆系统确保机器人持续学习和利用经验，提升智能体整体能力。

本文介绍了在Kubernetes环境中自托管大型语言模型（LLM）的设置，使用vLLM作为推理引擎，LINSTOR提供持久存储。自托管可降低成本、提高控制力，并满足数据合规要求。通过创建持久卷声明和密钥，部署vLLM推理服务器，确保模型权重缓存以加快重启速度，支持高并发请求，适合混合AI应用。

本文讨论了随机A/B测试中的回归分析，强调随机化的重要性。通过随机分配用户，回归模型能够提供无偏的因果估计。文章介绍了使用OLS回归分析任务完成率变化的方法，包括添加协变量、聚类稳健标准误差和交互效应模型。同时指出在实验不干净时需采用其他方法处理潜在的混杂因素。

本文介绍了scikit-ollama如何将scikit-learn接口与本地Ollama模型结合，实现零-shot文本分类，无需云API。用户可以使用本地Llama 3模型加载电影评论情感数据集，并创建情感预测分类器，从而简化传统机器学习流程，避免数据隐私问题和订阅费用。