内容提要
作者为保护隐私在本地运行AI,于Mac Studio上安装开源Hermes Agent和Qwen模型,通过Telegram控制,完成每日简报、整理Steam游戏库、分析财务数据等任务。他认为本地AI虽强大但并非万能,仍会出错,应视为工具而非朋友,保持谨慎。
延伸解读
本地AI的隐私优势与硬件门槛
作者因不愿将个人数据交给云服务而选择本地运行AI,这凸显了隐私是本地AI的核心吸引力。但本地AI需要强大硬件支持,例如作者使用的Mac Studio拥有256GB统一内存,才能运行1250亿参数的大模型。对于普通用户,硬件成本可能成为主要障碍,需权衡隐私需求与投入。
实际任务中的表现与局限
作者通过Hermes Agent完成了每日简报、整理Steam游戏库、分析财务数据等任务,展示了本地AI的实用性。然而,这些任务并非一帆风顺:每日简报曾多次失败,整理游戏库需授予API权限,自动化基准测试仍在进行中。这表明本地AI虽能处理特定任务,但可靠性和易用性仍有待提升。
工具而非朋友:保持谨慎的使用心态
作者强调本地AI只是工具,不应视为朋友,因此避免使用礼貌用语,保持冷静指令。这种态度有助于用户理性看待AI能力,避免过度依赖。同时,作者提醒需保持警惕,因为本地AI仍会出错,且授予权限可能带来安全风险,需及时撤销不必要的访问。
Q&A
作者为什么选择在本地运行AI而不是用云端服务?
作者出于隐私考虑,不愿将最个人化的数据交给云服务,因此选择在本地运行AI模型。
作者在Mac Studio上安装了哪些本地AI工具和模型?
作者安装了开源Hermes Agent,并选择了Qwen 3.8 Flash Next模型(1250亿参数,约105GB)。
作者如何用本地AI控制自己的Steam游戏库?
作者让Hermes查看已安装的Steam客户端,并注册Steam web API密钥交给Hermes,然后让它按类型自动分类400多款游戏,同时保留自定义分类。
作者用本地AI做了哪些涉及敏感数据的任务?
作者让Hermes分析财务记录、制作笔记本电脑规格对比表,这些任务因涉及敏感数据或 embargo 信息,不适合上传到云端。
作者认为本地AI目前有哪些不足?
作者认为本地AI并非万能,仍会出错,例如每日简报多次失败;它只是一个工具,不能当作朋友,需要保持谨慎。
作者对本地AI的态度是什么?
作者认为本地AI令人兴奋、不知所措又令人沮丧,但将其视为工具而非朋友,保持冷静和谨慎,不与其客套。