通过显卡来给gpt-oss做个加速

通过显卡来给gpt-oss做个加速

💡 原文中文,约700字,阅读约需2分钟。
📝

内容提要

在MacBook Pro上使用gpt-oss因内存限制运行困难。在显存为6G的Windows笔记本上使用lm studio运行gpt-oss 20b模型,加载8层后生成速度有所提升,但仍受显存限制,建议使用显存大于16G的显卡。

🏷️

标签

➡️

继续阅读