小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
一台3090就能跑Gemma 3 27B!谷歌发布Gemma 3全系QAT版模型

谷歌Gemma 3新版本通过量化感知训练(QAT)优化,显著降低内存需求,27B模型的VRAM从54GB降至14.1GB,支持在消费级GPU上运行,用户可在RTX 3090等设备上轻松使用,提升AI功能。

一台3090就能跑Gemma 3 27B!谷歌发布Gemma 3全系QAT版模型

机器之心
机器之心 · 2025-04-20T02:16:00Z
现在可以使用SANA 4K模型在8GB VRAM以下生成16百万像素(4096x4096)原始图像及更多

本文介绍了新应用程序的安装与优化,使用Diffusers Pipeline并进行VRAM优化。用户需重新安装,首次生成时模型会下载至Hugging Face缓存文件夹。建议启用四项优化以提升性能,并提供不同分辨率下的VRAM需求。

现在可以使用SANA 4K模型在8GB VRAM以下生成16百万像素(4096x4096)原始图像及更多

DEV Community
DEV Community · 2025-01-13T00:13:55Z
最佳开源图像转视频模型CogVideoX1.5-5B-I2V,表现相当不错,并针对低VRAM进行了优化

CogVideoX1.5-5B-I2V是一个开源图像转视频模型,适用于低VRAM机器,支持1360px分辨率和10秒视频生成。提供安装指南、模型资源和音频生成工具,优化了VRAM使用,适合多种分辨率。

最佳开源图像转视频模型CogVideoX1.5-5B-I2V,表现相当不错,并针对低VRAM进行了优化

DEV Community
DEV Community · 2024-12-25T00:50:22Z
Kohya对FLUX LoRA(4GB GPU)和DreamBooth / 微调(6GB GPU)训练进行了重大改进

Kohya对FLUX LoRA和DreamBooth进行了重要改进,最低4GB GPU可用于FLUX LoRA训练,6GB GPU用于DreamBooth训练。更新后,下载和安装速度更快,支持FP16和FP8训练,显著降低了VRAM使用。

Kohya对FLUX LoRA(4GB GPU)和DreamBooth / 微调(6GB GPU)训练进行了重大改进

DEV Community
DEV Community · 2024-11-17T14:45:08Z
模型量化对模型精度影响的研究

模型量化(如8bit或4bit)显著降低计算成本并加速推理。Neural Magic的研究表明,量化模型与全精度模型在准确性上差异不大,尤其是大模型(如70b、405b)保持98%以上的性能。尽管小模型(如8b)准确性波动较大,但仍能保持核心语义和结构一致性。量化不仅节省VRAM,还提升推理速度。

模型量化对模型精度影响的研究

编译程序
编译程序 · 2024-11-07T14:11:56Z

本研究使用InAttention替代自注意力机制,解决了变压器模型在上下文长度增加时VRAM需求增加的问题。该方法使VRAM使用量与上下文长度线性增长,降低资源需求,支持在消费级GPU上处理长序列。研究表明,微调可以在不增加训练成本的情况下扩展上下文长度,提升长序列性能。

InAttention:变压器的线性上下文扩展

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z

在深度学习中,选择合适的GPU很重要。推荐的高性价比GPU有NVIDIA GeForce RTX 3060、RTX 3050、GTX 1660 Ti、AMD Radeon RX 6700 XT和二手NVIDIA A100。选择时需考虑VRAM、CUDA核心、价格和未来需求。NVIDIA的GPU在深度学习框架中支持更广,适合预算有限的开发者。

深度学习中的经济实惠GPU:预算有限开发者的最佳选择

DEV Community
DEV Community · 2024-10-05T10:26:01Z

NVidia GPU在Windows用户中提供了共享GPU内存功能,允许系统内存用作虚拟VRAM。这可以在GPU的专用视频内存不足时提供帮助,但会对性能产生影响。作者测试了将GPU内存溢出到RAM对LLM训练速度的影响,并发现尽可能填充PC的RAM并使用共享GPU内存没有太大意义。作者还测试了不同的卸载设置,并发现使用50%的GPU和50%的CPU几乎完全填满了VRAM而没有溢出。结果显示,使用50/50的GPU/CPU具有最高的每秒标记数和最快的第一个标记时间。使用100%的GPU卸载会导致更多的系统内存使用。作者得出结论,使用共享VRAM没有太大意义。

llama.cpp:CPU与GPU、共享VRAM与推理速度

DEV Community
DEV Community · 2024-08-22T17:37:33Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码