纯 .NET 手写 CUDA kernel，GLM-5.3-Flash decode 跑出 llama.cpp 的 2 倍 - 张善友

纯 .NET 手写 CUDA kernel，GLM-5.3-Flash decode 跑出 llama.cpp 的 2 倍 - 张善友
张善友 张善友 ·
3 张卡到底能不能跑大模型推理？从 vLLM、llama.cpp 到 TensorSharp 的多卡真相 - 张善友

3 张卡到底能不能跑大模型推理？从 vLLM、llama.cpp 到 TensorSharp 的多卡真相 - 张善友
张善友 张善友 ·
本地工具调用对比：Gemma 4 vs. Llama 3 vs. Mistral

本地工具调用对比：Gemma 4 vs. Llama 3 vs. Mistral
MachineLearningMastery.com MachineLearningMastery.com ·

Muse Glimmer是Meta推出的本地AI编码模型，性能优于Qwen 27B类模型。本文指导用户通过llama.cpp和DFlash加速运行，并连接Pi代理实现本地编码。测试显示速度达127 tokens/秒，能自主构建、测试和调试项目，但HTML生成略逊于Qwen。推荐RTX 3090/4090/5090用户尝试，本地AI编码已接近付费模型体验。

使用llama.cpp、DFlash和Pi运行Muse Glimmer进行本地Vibe编码
KDnuggets KDnuggets ·
NIGHTRUN – 无需操作系统，用 U 盘启动的的本地大模型客户端

NIGHTRUN – 无需操作系统，用 U 盘启动的的本地大模型客户端
小众软件 小众软件 ·
纯 C# 追平 llama.cpp？.NET 本地推理三国杀 - 张善友

纯 C# 追平 llama.cpp？.NET 本地推理三国杀 - 张善友
张善友 张善友 ·
Ollama vs. LM Studio vs. llama.cpp：2026年你应该使用哪个本地AI运行时？

Ollama vs. LM Studio vs. llama.cpp：2026年你应该使用哪个本地AI运行时？
MachineLearningMastery.com MachineLearningMastery.com ·
MTP 加速推理最佳实践：在亚马逊云科技中国区使用 llama.cpp 部署 Qwen3.6 的实测指南

MTP 加速推理最佳实践：在亚马逊云科技中国区使用 llama.cpp 部署 Qwen3.6 的实测指南
亚马逊AWS官方博客 亚马逊AWS官方博客 ·

本文介绍如何在本地运行Qwythos-9B-Claude-Mythos-5-1M模型，该模型为9B参数推理编码模型，适合消费级硬件。通过llama.cpp安装并启动服务，设置100K上下文和MTP推测解码，在RTX 4070 Ti Super上达到81.74 tokens/秒。随后安装Pi及llama插件，连接本地服务器作为编码代理。测试显示模型能成功构建浏览器游戏和CSV转Excel CLI工具，表现快速准确，无需外部API，适合日常编码任务。

使用llama.cpp和Pi在本地运行Mythos增强编码模型
KDnuggets KDnuggets ·
在 llama-server 中的采样参数

在 llama-server 中的采样参数
Alex Ewerlöf Notes Alex Ewerlöf Notes ·
6GB 显存运行 64K 上下文：llama.cpp 参数与 KV Cache 调优

6GB 显存运行 64K 上下文：llama.cpp 参数与 KV Cache 调优
Nicksxs's Blog Nicksxs's Blog ·
C# 结合 llama.cpp 实现 QianfanOCR本地部署，搞定所有卡证识别与结构化输出

C# 结合 llama.cpp 实现 QianfanOCR本地部署，搞定所有卡证识别与结构化输出
dotNET跨平台 dotNET跨平台 ·
C# 结合 llama.cpp 实现 PaddleOCR-VL-1.5：本地 OCR 客户端开发全攻略

C# 结合 llama.cpp 实现 PaddleOCR-VL-1.5：本地 OCR 客户端开发全攻略
dotNET跨平台 dotNET跨平台 ·
Meta公司放弃开源Llama，转向专有的Muse Spark

Meta公司放弃开源Llama，转向专有的Muse Spark
The New Stack The New Stack ·

本文探讨了开源许可证在非代码资产（如文档、数据和模型权重）中的应用，尤其是在大规模语言模型和生成式AI背景下。传统软件许可证（如MIT、Apache）已无法满足这些资产的需求。文章分析了Creative Commons、开放数据库许可证和OpenRAIL等不同类型的许可证，强调选择合适许可证的重要性，以确保合法合规并促进资源的有效使用。

【开源许可与版权工程】文档、数据、模型的许可：CC、ODbL、OpenRAIL、LLaMA 协议
土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 ·

本文探讨了2024-2025年开源模型许可证的多样性，强调模型权重的法律地位及其对工程决策的影响。不同许可证（如Apache 2.0、MIT、OpenRAIL-M等）在商用、再分发和修改方面的条款各异，工程团队需谨慎选择以避免法律风险。文章还分析了模型权重的著作权保护问题及不同司法区的倾向，并提供了具体的工程场景决策清单和合规建议。

【开源许可与版权工程】模型许可证深度解析：OpenRAIL-M、LLaMA、Apache 2.0 在大模型场景的真实区别
土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 ·
再见，Llama。

再见，Llama。
dotNET跨平台 dotNET跨平台 ·
英特尔发布 OpenVINO 2026.1，新增 Llama.cpp 后端支持和硬件支持

英特尔发布 OpenVINO 2026.1，新增 Llama.cpp 后端支持和硬件支持
实时互动网 实时互动网 ·
Runpod报告：Qwen已超越Meta的Llama，成为最常部署的自托管LLM

Runpod报告：Qwen已超越Meta的Llama，成为最常部署的自托管LLM
The New Stack The New Stack ·
在线教程丨免费CPU资源快速部署，覆盖Qwen3.5/DeepSeek-R1/Gemma 3/Llama 3.2等热门开源模型

在线教程丨免费CPU资源快速部署，覆盖Qwen3.5/DeepSeek-R1/Gemma 3/Llama 3.2等热门开源模型
HyperAI超神经 HyperAI超神经 ·
👤 个人中心
在公众号发送验证码完成验证