Java Llama CPP On MacOS
原文约1400字,阅读约需4分钟。发表于: 。近一段时间,尝试在 Java 中使用 gpu 资源,发现已经有人做过类似的工作,实现了一个java 的 llama.cpp 封装。 我使用过一些 llama 的 runtime,llama.cpp 是我非常喜欢的。它性能足够好,对 MacOS 有很好的支持。基于 llama.cpp 的 ollama 项目,也是我非常常用的一个工具。我原本就计划在 llama.cpp 和 ggml 项目上下一些功夫。现在有了这个封装,自然要拿来试一试。 项目的结构不算复杂,因为我想要学习它对llama.cpp的封装,所以下载了源代码。按照文档的话,仅需要先执行一组构建工作: mvn compile mkdir build cd build cmake .. # add any other arguments for your backend cmake --build . --config Release 即可编译使用。 我以前就构建过 llama.cpp,所以我的电脑上相关的依赖都是完整的,这部分出了必要的网络配置,也没有遇到什么问题。 但是我尝试执行单元测试时,提示错误信息:fatal error:...
近期发现了一个在Java中使用GPU资源的封装项目,基于llama.cpp。项目结构简单,编译使用也很方便。在执行单元测试时遇到了错误,经过作者指导,将llama.cpp编译为嵌入模式后问题解决。此项目可以使用任意硬件,如macOS的metal。