13 家 LLM 提供商，一台本地服务器全仿真：.NET 测试的新解法 - 张善友
内容提要
文章介绍GitHub项目LlmTestServer：本地模拟OpenAI、Anthropic、Gemini等13家LLM服务商，应用只需修改base URL即可用官方SDK测试，可按剧本返回响应并模拟429限流与流中断。特色包括多轮会话状态机、token成本账本和180天契约防漂移机制。作者为21年.NET老兵，项目由AI代理驱动开发。目前仅2星、单人维护，建议.NET团队试用，同时保留少量真实API契约测试。
延伸解读
测试策略：Mock 与真实 API 的互补
文章强调，无论使用哪种 mock 工具，都应保留一小撮定期跑真实 API 的契约测试。Mock 能保证测试快速稳定，但真实调用才能验证测试是否真的有效。LlmTestServer 的防漂移机制（180 天契约复核）虽能提醒 API 变化，但无法完全替代真实环境验证。因此，团队应将本地仿真用于日常 CI，同时用少量真实调用兜底，避免因 mock 与真实服务脱节而漏掉线上问题。
项目现状与采用风险
LlmTestServer 目前仅 2 个 star，所有提交出自一人，bus factor 为 1。13 家提供商的协议跟踪是长期苦力活，单人维护能否持续存疑。部分文档标注“已实现，公开发布待决”，能力面可能大于交付面。对于 .NET 团队，尤其是已用 Aspire 的，可低摩擦试用；其他技术栈团队建议观望或参考同类工具。采用前需评估维护风险，并做好备用方案。
成本工程的可测试化
项目内置真实分词器，能拆分每次请求的 token 消耗（系统提示、工具 schema、历史消息等），并模拟各家提示缓存规则。配合 Blazor 仪表盘，开发者可以直观看到每轮对话的成本分布，并将成本断言纳入回归测试。这使成本优化从被动监控变为可编程、可验证的环节，有助于在开发早期发现 token 浪费，尤其适合对 API 费用敏感的团队。
Q&A
LlmTestServer 是什么？它主要解决什么问题？
LlmTestServer 是一个本地模拟 LLM 服务商的开源工具，能在本地仿真 OpenAI、Anthropic、Gemini 等 13 家提供商的 API。它主要解决调用大模型应用测试时的不确定性问题：真实 API 慢、烧钱、响应随机，导致测试无法稳定断言；而 mock HTTP 客户端又会绕过官方 SDK 的序列化、重试、流式解析等关键逻辑。
怎么用 LlmTestServer 测试我的应用？需要改代码吗？
应用侧几乎不用改代码，只需把 base URL 从真实 API 地址（如 api.openai.com）换成 http://localhost:8080/openai/v1，官方 SDK 照常使用。测试侧通过控制接口配置剧本，例如用 ConfigureAsync 设置 Bearer Token、模型和场景响应。启动方式是一行 docker run 命令。
LlmTestServer 支持哪些 LLM 提供商和接口类型？
它支持 13 家提供商，包括 OpenAI、Azure OpenAI、Anthropic、Gemini、Bedrock、Groq、Mistral、Ollama、Cohere 等。除了 OpenAI 兼容协议，还原生模拟了 Anthropic Messages、Gemini generateContent、Bedrock Converse 等非 OpenAI 系协议，并覆盖图像生成、语音转写、视频生成等多模态接口。
LlmTestServer 有哪些特色功能？
三个主要特色：1）会话步图，可将多轮对话定义成状态机，按用户消息匹配条件跳转步骤，每个测试会话状态独立；2）token 账本，内置真实分词器，拆分输入 token 构成并模拟提示缓存规则，配合 Blazor 仪表盘查看成本；3）防漂移机制，每个提供商包存有契约并记录官方文档 URL 和检索日期，超过 180 天未复核则契约测试失败。
LlmTestServer 能模拟限流 429 和流中断等异常吗？
可以。文章明确指出，通过剧本配置可以决定什么时候返回 429 限流、流式响应在哪个分片断掉，从而在本地稳定复现这些异常路径，而不用依赖真实 API 的偶然触发。
LlmTestServer 目前有哪些风险和局限？
项目目前只有 2 个 star，网上无第三方讨论；所有提交出自一人，bus factor 为 1；13 家提供商的协议跟踪是长期苦力活，单人维护能否持续存疑；部分文档标注“已实现，公开发布待决”，能力面略大于交付面。
对于 .NET 团队，作者建议如何使用这个工具？
作者建议 .NET 团队，尤其是已在用 Aspire 的团队，现在就可以试用，一行 builder.AddLlmTestServer() 即可接入，几乎零摩擦。其他栈的团队可先观望或参考同类工具（JS 生态的 CopilotKit AIMock、Java 系的 MockServer LLM 模块）。同时强调无论用什么 mock，都应保留一小撮定期跑真实 API 的契约测试。
