小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

BitNet b1.58是微软研究人员开发的低位语言模型,采用三元权重训练,旨在高效运行。文章介绍了在Linux上安装工具、克隆和构建BitNet、下载模型、运行交互式聊天模式及启动本地推理服务器的步骤,用户可通过OpenAI Python SDK连接本地服务器。

使用BitNet本地运行小型AI模型:初学者指南

KDnuggets
KDnuggets · 2026-03-10T16:00:45Z
bitnet-b1.58-2b-4t

微软更新的BitNet模型在CPU上的速度约为25token/s,但效果不佳,表现出智商较低。测试结果显示模型能力有限,未来有改进空间。

bitnet-b1.58-2b-4t

Yunfeng's Simple Blog
Yunfeng's Simple Blog · 2025-04-20T07:27:29Z

本文介绍了BitNet b1.58 2B4T,这是首个开源的原生1位大型语言模型,具有20亿个参数。该模型在训练时使用了4万亿个标记,经过严格评估,显示出其在语言理解、数学推理、编程能力和对话能力等基准上达到了与同规模的领先开源全精度LLM相当的性能,并显著提高了计算效率,减少了内存占用、能耗和解码延迟。这一成果有望推动进一步的研究和应用。

BitNet b1.58 2B4T 技术报告

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-16T00:00:00Z

本研究提出了优化推理系统Bitnet.cpp,解决了三元大型语言模型在边缘推理中的效率问题。该系统采用新型混合精度矩阵乘法库,实现了高效无损推理,速度比全精度快6.25倍,推动了该领域的发展。

Bitnet.cpp: Efficient Edge Inference for Ternary Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z
BitNet a4.8:4位激活推动1位大语言模型达到最先进性能

本文介绍了BitNet a4.8,一种高效的神经网络,采用4位激活和1位权重。研究表明,该模型在语言任务中表现优异,兼顾性能与效率,适合资源受限的设备。

BitNet a4.8:4位激活推动1位大语言模型达到最先进性能

DEV Community
DEV Community · 2024-11-09T07:02:35Z

本研究提出了一种新型后训练量化方法W4A8,结合4位权重量化和8位矩阵计算加速,提升大型语言模型的推理速度和准确性。通过块量化技术,实现几乎无损的6位量化,内存密度提高5倍。此外,研究介绍了激活引导量化框架Agile-Quant,优化边缘设备的推理速度,并提出了bitnet.cpp软件栈,显著提升1位大型语言模型的推理效率。

BitNet a4.8:1位大型语言模型的4位激活

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-07T00:00:00Z
使用 BitNet 在 WSL2 (Ubuntu) 上加速 1-bit 大语言模型推理

BitNet是一个支持在CPU上快速无损推理的1-bit大语言模型框架。安装步骤包括安装软件包、克隆代码库、创建虚拟环境并安装Python包。推理时可以通过命令行设置模型路径、提示和线程数等参数。

使用 BitNet 在 WSL2 (Ubuntu) 上加速 1-bit 大语言模型推理

DEV Community
DEV Community · 2024-10-22T03:00:00Z

本研究分析了现有1位大型语言模型在推理速度和能耗方面的不足,提出了bitnet.cpp软件堆栈。通过开发快速无损推理内核,提升了不同处理器上的推理速度,实现了最高6.17倍的加速,增强了1位LLM的本地部署潜力。

1位 AI 基础设施:第 1.1 部分,基于 CPU 的快速无损 BitNet b1.58 推理

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

微软亚洲研究院发布了新的1-bit大语言模型BitNet b1.58,比传统的FP16 LLM在速度、内存使用和能耗方面更优。BitNet b1.58使用三进制表示参数,推理速度比FP16 LLM快2-4倍,内存使用减少3-4倍,能耗比FP16 LLM低70倍以上。该模型降低了存储和计算成本,提高了性能,适用于移动设备、物联网和云计算。然而,BitNet b1.58仍存在模型容量和训练难度问题。

BitNet b1.58:大模型是不是就快要能在手机上跑个分了

dotNET跨平台
dotNET跨平台 · 2024-03-02T00:01:36Z

BitNet是一种可扩展且稳定的1位Transformer架构,通过引入BitLinear作为nn.Linear层的替代方案,可以从零开始训练1位权重。实验结果表明,BitNet在语言建模方面能够达到有竞争力的性能,同时大幅减少内存占用和能源消耗。

BitNet:面向大型语言模型的 1 比特 Transformer 的扩展

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-17T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码