小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
看看目前本地能跑什么模型,使用llama.cpp

文章讨论了在本地运行小型开源模型的可行性,特别是使用llama.cpp项目。作者分享了在Windows上使用3060显卡运行Qwen3.6 9B模型的设置,包括CUDA版本和参数配置。尽管显存有限,这些模型在简单任务中仍能有效使用。

看看目前本地能跑什么模型,使用llama.cpp

Nicksxs's Blog
Nicksxs's Blog · 2026-05-31T14:07:14Z
C# 结合 llama.cpp 实现 QianfanOCR本地部署,搞定所有卡证识别与结构化输出

Qianfan-OCR是一个本地OCR解决方案,旨在提高文档处理效率并保护数据隐私。该模型集成了文档解析、文字识别和语义理解,支持复杂结构的识别,适合企业使用。用户可通过C# WinForm和llama.cpp在本地完成OCR任务,确保敏感数据安全。

C# 结合 llama.cpp 实现 QianfanOCR本地部署,搞定所有卡证识别与结构化输出

dotNET跨平台
dotNET跨平台 · 2026-05-12T23:58:54Z
C# 结合 llama.cpp 实现 PaddleOCR-VL-1.5:本地 OCR 客户端开发全攻略

本文介绍了如何使用C# WinForm结合PaddleOCR-VL-1.5模型,构建一个本地离线的OCR客户端。该客户端支持多种识别任务,包括文字、表格和公式,架构简单,服务端与客户端解耦,便于升级和维护。通过RestSharp实现HTTP请求,确保识别过程的安全与高效。

C# 结合 llama.cpp 实现 PaddleOCR-VL-1.5:本地 OCR 客户端开发全攻略

dotNET跨平台
dotNET跨平台 · 2026-05-12T00:01:01Z
Meta公司放弃开源Llama,转向专有的Muse Spark

Meta公司宣布其新AI模型Muse Spark将取代已被放弃的Llama。Muse Spark采用全新架构,无法与Llama迁移,Llama用户需寻找替代方案,开发者社区面临重大损失。

Meta公司放弃开源Llama,转向专有的Muse Spark

The New Stack
The New Stack · 2026-04-30T15:05:45Z

本文探讨了开源许可证在非代码资产(如文档、数据和模型权重)中的应用,尤其是在大规模语言模型和生成式AI背景下。传统软件许可证(如MIT、Apache)已无法满足这些资产的需求。文章分析了Creative Commons、开放数据库许可证和OpenRAIL等不同类型的许可证,强调选择合适许可证的重要性,以确保合法合规并促进资源的有效使用。

【开源许可与版权工程】文档、数据、模型的许可:CC、ODbL、OpenRAIL、LLaMA 协议

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
再见,Llama。

Meta推出的新一代大模型Muse Spark强调闭源策略,未提供开源链接,显示其开源立场的转变。与Llama系列相比,Muse Spark在性能上处于第一梯队,但未来的开源计划尚不明确,开发者面临不确定性。

再见,Llama。

dotNET跨平台
dotNET跨平台 · 2026-04-10T00:02:22Z
英特尔发布 OpenVINO 2026.1,新增 Llama.cpp 后端支持和硬件支持

英特尔发布了OpenVINO工具包的2026.1版本,新增对Qwen3 VL模型和GPT-OSS 120B的支持,优化了跨Intel CPU、GPU和NPU的推理,支持Wildcat Lake SoC和Intel Arc Pro B70显卡。

英特尔发布 OpenVINO 2026.1,新增 Llama.cpp 后端支持和硬件支持

实时互动网
实时互动网 · 2026-04-09T01:52:28Z
Runpod报告:Qwen已超越Meta的Llama,成为最常部署的自托管LLM

Runpod的AI报告显示,Qwen是最常部署的自托管LLM,而Llama 4几乎没有被采用。视频生成服务如Synthesia和Runway的应用表明,优化工作负载比单次生成更为重要。整体来看,AI基础设施的使用模式趋向于性能和效率的整合。

Runpod报告:Qwen已超越Meta的Llama,成为最常部署的自托管LLM

The New Stack
The New Stack · 2026-03-12T13:00:57Z
在线教程丨免费CPU资源快速部署,覆盖Qwen3.5/DeepSeek-R1/Gemma 3/Llama 3.2等热门开源模型

开源模型迭代迅速,开发者希望低门槛部署新模型,但GPU成本和环境配置仍是障碍。HyperAI提供免费CPU配额和在线教程,帮助开发者快速体验模型。

在线教程丨免费CPU资源快速部署,覆盖Qwen3.5/DeepSeek-R1/Gemma 3/Llama 3.2等热门开源模型

HyperAI超神经
HyperAI超神经 · 2026-03-10T03:46:25Z
清华数学系大神跳槽OpenAI!曾主导SAM与Llama开发,Sora负责人:欢迎加入

清华大学数学系的张鹏川宣布加入OpenAI,专注于世界模拟与机器人学研究。他曾在Meta主导SAM与Llama项目,推动计算机视觉与多模态智能的发展。此举被视为OpenAI在“世界模型 + 物理智能”领域的重要布局。

清华数学系大神跳槽OpenAI!曾主导SAM与Llama开发,Sora负责人:欢迎加入

量子位
量子位 · 2026-02-25T05:01:38Z
Meta新模型要来了,但Llama 4的锅谁来接?1300多位作者的联合报告来了

抱歉,您提供的文本内容过于简短,无法进行有效总结。请提供更详细的文章内容。

Meta新模型要来了,但Llama 4的锅谁来接?1300多位作者的联合报告来了

机器之心
机器之心 · 2026-01-22T08:53:00Z
即将离职的Meta首席AI科学家承认该公司在发布Llama 4时篡改测试结果以获得最佳成绩

Meta首席AI科学家Yann LeCun承认,该公司在发布Llama 4时篡改基准测试结果,导致模型表现不佳,引发扎克伯格不满,整个GenAI团队被边缘化。

即将离职的Meta首席AI科学家承认该公司在发布Llama 4时篡改测试结果以获得最佳成绩

蓝点网
蓝点网 · 2026-01-03T03:45:02Z
开源生态再扩容!LLaMA-Factory正式支持ERNIE-4.5全系列,实战单卡微调宝可梦图鉴

文心大模型与LLaMA-Factory合作,支持ERNIE-4.5模型的微调。用户可通过简化流程和4-bit量化训练快速完成微调。案例展示了宝可梦角色识别任务,训练效果显著提升,模型适应性增强。

开源生态再扩容!LLaMA-Factory正式支持ERNIE-4.5全系列,实战单卡微调宝可梦图鉴

百度大脑
百度大脑 · 2025-12-29T11:55:56Z
在本地GPU上预训练Llama模型

本文介绍了如何在本地GPU上预训练Llama模型,包括训练特定标记的分词器、准备训练数据和执行预训练。使用HuggingFaceFW/fineweb数据集,创建一个12层的Llama模型,并设置训练参数以实现模型训练。

在本地GPU上预训练Llama模型

MachineLearningMastery.com
MachineLearningMastery.com · 2025-12-22T04:27:38Z
如何在自己的数据集上微调本地Mistral或Llama 3模型

本文介绍了如何使用Unsloth和QLoRA微调开源大语言模型,以提升客户支持效率。内容包括数据集准备、训练、测试和比较。通过微调,模型在特定领域的响应速度和一致性显著提高。教程涵盖Colab环境设置、数据集准备、模型训练及性能评估等步骤。

如何在自己的数据集上微调本地Mistral或Llama 3模型

MachineLearningMastery.com
MachineLearningMastery.com · 2025-12-19T09:00:17Z
构建Llama或GPT模型进行下一个标记预测

自然语言生成(NLG)面临挑战,现代解码器模型如Llama和GPT在大量文本数据上训练有效。本文介绍了如何构建Llama或GPT模型进行下一个标记预测,包括模型架构、预训练和变体。Llama模型采用分组查询注意力和旋转位置嵌入,使用SwiGLU激活函数,形成简单高效的语言模型。

构建Llama或GPT模型进行下一个标记预测

MachineLearningMastery.com
MachineLearningMastery.com · 2025-12-08T18:04:12Z
为Llama模型训练分词器

Llama模型是Meta发布的一个大型语言模型,采用字节对编码(BPE)进行文本分词,帮助模型理解词义关系。文章介绍了如何使用Hugging Face、SentencePiece和tiktoken库训练BPE分词器,并提供了代码示例。

为Llama模型训练分词器

MachineLearningMastery.com
MachineLearningMastery.com · 2025-12-05T17:48:42Z
KTransformers + LLaMA-Factory + SGLang:低成本本地微调与推理

KTransformers、LLaMA-Factory和SGLang提供低成本、低内存的本地微调和推理方案。通过LoRA微调和GPU+CPU异构执行,用户可以在资源有限的情况下有效训练和推理超大规模MoE模型。这种集成使得在普通硬件上处理大模型成为可能,显著降低了GPU内存需求并提高了吞吐量。

KTransformers + LLaMA-Factory + SGLang:低成本本地微调与推理

Home | KVCache.ai
Home | KVCache.ai · 2025-11-01T00:00:00Z
独家揭秘Meta AI大裁员:Llama 4落后DeepSeek的恐慌

Meta AI部门裁员约600人,基础研究受损。新主管亚历山大·王重组团队,聚焦TBD Lab,因Llama 4表现不佳,扎克伯格感受到竞争压力,急于调整战略。

独家揭秘Meta AI大裁员:Llama 4落后DeepSeek的恐慌

TechWeb 全站精华
TechWeb 全站精华 · 2025-10-27T02:13:17Z

田渊栋在Meta裁员后迅速找到新工作,裁员涉及约600人,因Llama 4表现不佳。Meta裁员旨在提升团队效率,部分员工获得遣散费。田渊栋受到多个AI公司的青睐,显示他机会众多。

田渊栋被裁后新offer排到法国!原来Llama 4.5训完后被卸磨杀驴了

量子位
量子位 · 2025-10-24T01:21:49Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码