BaseRT是专为Apple Silicon优化的本地AI推理引擎,在M5 Pro上提示词处理速度最高达llama.cpp的6.4倍、MLX的3.9倍,生成速度也有提升。它利用M5的Tensor Core和Metal 4 API加速,支持Qwen、Llama等模型,提供安装、下载、对话及API服务。
完成下面两步后,将自动完成登录并继续当前操作。