Using llama.

本研究提出了优化推理系统Bitnet.cpp，解决了三元大型语言模型在边缘推理中的效率问题。该系统采用新型混合精度矩阵乘法库，实现了高效无损推理，速度比全精度快6.25倍，推动了该领域的发展。

§ C++11 NOTE: this is a web “mirror” of Anthony Calandra’s modern-cpp-features shared under MIT License (see at bottom). The only reason I do a copy is I hate reading markdowns from github....

§ C++14 NOTE: this is a web “mirror” of Anthony Calandra’s modern-cpp-features shared under MIT License (see at bottom). The only reason I do a copy is I hate reading markdowns from github....

§ C++17 NOTE: this is a web “mirror” of Anthony Calandra’s modern-cpp-features shared under MIT License (see at bottom). The only reason I do a copy is I hate reading markdowns from github....

§ C++20 NOTE: this is a web “mirror” of Anthony Calandra’s modern-cpp-features shared under MIT License (see at bottom). The only reason I do a copy is I hate reading markdowns from github....

§ Modern C++ Features (Anthony Calandra), overview C++20/17/14/11 NOTE: this is a web “mirror” of Anthony Calandra’s modern-cpp-features shared under MIT License (see at bottom). The only...

本研究提出了一种优化的Sdcpp推理框架，解决了传统稳定扩散中的高延迟和内存问题，通过Winograd算法加速2D卷积，推理速度提升可达4.79倍。

[!Error]+编写 C++ 代码时偶尔会遇到两个类需要相互引用的情况，如果在 h 文件中相互包含会导致 “has not been declared”

NVidia GPU在Windows用户中提供了共享GPU内存功能，允许系统内存用作虚拟VRAM。这可以在GPU的专用视频内存不足时提供帮助，但会对性能产生影响。作者测试了将GPU内存溢出到RAM对LLM训练速度的影响，并发现尽可能填充PC的RAM并使用共享GPU内存没有太大意义。作者还测试了不同的卸载设置，并发现使用50%的GPU和50%的CPU几乎完全填满了VRAM而没有溢出。结果显示，使用50/50的GPU/CPU具有最高的每秒标记数和最快的第一个标记时间。使用100%的GPU卸载会导致更多的系统内存使用。作者得出结论，使用共享VRAM没有太大意义。

Mistral.rs实现了PagedAttention，比llama.cpp在大部分CUDA GPU上更快。一篇文章讲述了使用Rust构建搜索引擎的经历。Rust对新手不友好，但有人在努力教学。有一份Leptos新手教程。