把 284B 的 DeepSeek V4 Flash 装进纯 .NET：TensorSharp 用一天改写了 .NET 推理栈的位置 - 张善友
内容提要
TensorSharp于2026年7月31日将DeepSeek V4 Flash（284B参数MoE模型）集成至其.NET推理栈，提供OpenAI兼容接口和连续批处理。其开发了三条路径：直接CUDA后端、ggml后端和纯托管实现，支持多GPU层切分和逐字节一致的并发隔离。性能接近llama.cpp，正确性通过测试，使.NET首次成为可用的大模型推理选项。
延伸解读
三条路径的工程哲学
TensorSharp 为 DSV4 提供了三条并行推理路径：直接 CUDA 后端、ggml 后端和纯托管实现。这种架构冗余策略不赌单一路线，而是用多种方案覆盖不同场景。直接 CUDA 后端完全绕开 ggml，自行实现 29 个专用 kernel，追求极致性能；ggml 后端借助 Vulkan 支持非 NVIDIA 显卡；纯托管实现零原生依赖，适合对可审计性和部署简单性要求高的企业环境。这种多路径设计在推理引擎中较为少见，体现了对生态多样性的考量。
并发隔离的严格验证
TensorSharp 的 continuous batching 采用原生 sequence slot 机制，每个 slot 独立拥有全套 per-layer cache 和位置指针，并通过 CUDA graph 按 slot 重放。其验收标准极为苛刻：每个并发 slot 的输出与单流运行、温度 0 时的结果逐字节一致。这从源头排除了状态串扰问题，将并发正确性转化为可自动化的精确断言。这种测试设计对生产环境尤为重要，因为并发漂移难以察觉且影响用户体验。
性能与正确性的平衡
在 2×A100 80GB 配置下，TensorSharp 的 prefill 性能约为 llama.cpp 的八到九成，decode 约八成，处于同一数量级。更重要的是，4.6K 与 15K 的大海捞针测试均精确命中，证明压缩注意力路径真实生效。这表明其 kernel 实现正确，架构理论在工程上得到兑现。对于新后端而言，性能起点高且优化空间清晰，正确性证据比速度更具说服力。
部署门槛与生态意义
DSV4 的部署门槛为 2×80GB 或 4×A40 显卡，属于工作站或小型服务器集群可及的配置，而非数据中心专属。TensorSharp 将推理引擎变为 .NET 进程内的一等公民，使推理栈、Agent 运行时和业务代码同语言、同进程，有望降低部署拓扑复杂度和运维成本。这标志着 .NET 从依赖外部进程的推理模式，转向原生支持大模型推理的新阶段。
Q&A
TensorSharp 是什么？它最近有什么重大进展？
TensorSharp 是一个 .NET 推理栈，旨在让 .NET 开发者能够直接加载和运行大语言模型。2026年7月31日，它成功集成了 DeepSeek V4 Flash（284B参数MoE模型），提供了 OpenAI 兼容接口和连续批处理能力，使 .NET 首次成为可用的大模型推理选项。
TensorSharp 支持 DeepSeek V4 Flash 的三种推理路径是什么？
TensorSharp 提供了三条并行的推理路径：1) 直接 CUDA 后端，完全绕开 ggml，手写 CUDA kernel；2) ggml 后端，利用 ggml_cuda/ggml_vulkan 实现跨平台支持；3) 纯托管实现，零原生依赖，可在任何 .NET 环境运行。
TensorSharp 如何实现多并发推理且保证输出一致性？
TensorSharp 使用原生 sequence slot 机制，每个 slot 独立拥有全套 per-layer cache 和位置指针，graph cache 按 slot id 键控。通过温度 0 的确定性解码，验证了每个并发 slot 的输出与单流运行结果逐字节一致，从而确保无状态串扰。
TensorSharp 运行 DeepSeek V4 Flash 的性能表现如何？
在 2×A100 80GB 配置下，TensorSharp 的 prefill 速度约为 llama.cpp 的八到九成，decode 速度约为八成，处于同一数量级。同时，4.6K 和 15K 的大海捞针测试均精确命中，证明压缩注意力路径正确有效。
部署 DeepSeek V4 Flash 需要什么样的硬件配置？
DeepSeek V4 Flash 的 IQ4_XS 量化权重约 128 GiB，需要 2×80GB 显卡（如 A100）；稍大的 133 GB 模型则可在 4×A40（48GB）上通过层切分运行。这属于工作站或小型服务器集群可达到的配置。
TensorSharp 的纯托管实现有什么独特优势？
纯托管实现是 100% 托管代码，零原生依赖，不需要 CUDA 工具链或原生库，可在任何能运行 .NET 的机器上加载和推理 DSV4。这提高了可审计性和部署简单性，特别适合企业场景。
TensorSharp 与其他推理引擎（如 llama.cpp、vLLM）相比有何不同？
TensorSharp 是 .NET 生态的推理栈，而 llama.cpp 和 vLLM 分别是 C++ 和 Python 生态的代表。TensorSharp 提供直接 CUDA 后端（绕开 ggml）、ggml 后端和纯托管实现，强调与 .NET 应用同进程集成，而其他引擎通常需要跨进程调用。
TensorSharp 集成 DeepSeek V4 Flash 对 .NET 生态有何意义？
这标志着 .NET 推理栈首次从“玩具”变为“可用选项”，使 .NET 开发者能够直接运行 284B 参数的大模型，无需依赖外部进程。这有望改变 .NET 在 AI 推理层的地位，促进 .NET 生态在 AI 应用中的发展。
