DEV Community
·
llama.cpp：CPU与GPU、共享VRAM与推理速度
内容提要
NVidia GPU在Windows用户中提供了共享GPU内存功能，允许系统内存用作虚拟VRAM。这可以在GPU的专用视频内存不足时提供帮助，但会对性能产生影响。作者测试了将GPU内存溢出到RAM对LLM训练速度的影响，并发现尽可能填充PC的RAM并使用共享GPU内存没有太大意义。作者还测试了不同的卸载设置，并发现使用50%的GPU和50%的CPU几乎完全填满了VRAM而没有溢出。结果显示，使用50/50的GPU/CPU具有最高的每秒标记数和最快的第一个标记时间。使用100%的GPU卸载会导致更多的系统内存使用。作者得出结论，使用共享VRAM没有太大意义。
关键要点
-
NVidia GPU在Windows用户中提供共享GPU内存功能，允许系统内存作为虚拟VRAM使用。
-
共享GPU内存可以在专用视频内存不足时提供帮助，但会影响性能。
-
作者测试了GPU内存溢出到RAM对LLM训练速度的影响，发现填充PC的RAM并使用共享GPU内存没有太大意义。
-
测试了不同的卸载设置，发现50%的GPU和50%的CPU几乎完全填满了VRAM而没有溢出。
-
使用50/50的GPU/CPU设置具有最高的每秒标记数和最快的第一个标记时间。
-
使用100%的GPU卸载会导致更多的系统内存使用。
-
作者得出结论，使用共享VRAM没有太大意义。
延伸问答
共享GPU内存的功能是什么？
共享GPU内存允许系统内存作为虚拟VRAM使用，以帮助在专用视频内存不足时继续运行应用程序。
使用共享VRAM对性能有什么影响？
使用共享VRAM会对性能产生影响，可能导致更高的系统内存使用。
在LLM训练中，GPU内存溢出到RAM的影响是什么？
测试表明，填充PC的RAM并使用共享GPU内存对LLM训练速度没有太大意义。
哪种卸载设置在性能上表现最好？
50%的GPU和50%的CPU设置在每秒标记数和第一个标记时间上表现最好。
使用100% GPU卸载会有什么后果？
使用100% GPU卸载会导致更多的系统内存使用，并可能影响性能。
为什么作者认为使用共享VRAM没有太大意义？
作者认为共享VRAM没有太大意义，因为它对性能的影响和内存使用的增加并不值得。
