作者因不愿将邮件和聊天数据交给云服务,开发了本地AI助理Genatrix。它把Gmail、Telegram等数据拉取到本机加密存储,用本地模型Qwen3-8B 4bit读取,整理成可搜索时间线、每日摘要和待办承诺,并能模仿本人语气起草回复。未来计划让可自我升级的agent运行在wasm容器中。代码已开源。
DSpark是一种投机解码技术,通过并行草稿与轻量级顺序组件结合,提升LLM生成速度。在llama.cpp中测试Qwen3-8B,启用DSpark后生成速度从95.0提升至124.9 tokens/s,约31.5%加速。尽管MTP更通用,DSpark在草稿质量上占优,但模型支持有限,适合实验。
完成下面两步后,将自动完成登录并继续当前操作。