OpenClaw上下文浪费7千Token?SMELT相关性筛选降本95%

OpenClaw上下文浪费7千Token?SMELT相关性筛选降本95%

💡 原文中文,约4600字,阅读约需11分钟。
📝

内容提要

SMELT编译器通过相关性筛选显著减少OpenClaw的令牌使用,节省高达95%。它智能筛选相关内容,避免重复发送固定文件,提升效率并降低成本。开发者TooCas指出,SMELT不仅是压缩,而是智能筛选,未来计划实现自动学习Markdown结构。

🎯

关键要点

  • SMELT编译器通过相关性筛选显著减少OpenClaw的令牌使用,节省高达95%。
  • SMELT智能筛选相关内容,避免重复发送固定文件,提升效率并降低成本。
  • 开发者TooCas指出,SMELT不仅是压缩,而是智能筛选,未来计划实现自动学习Markdown结构。
  • OpenClaw每次对话都重复读取固定文件,造成大量令牌浪费。
  • SMELT通过查询条件式检索,仅发送与问题相关的记录,保留上下文。
  • SMELT的第四层通过相关性评分筛选记录,确保发送内容的相关性。
  • TooCas强调字节压缩和令牌压缩是不同的,测量需使用实际tokenizer。
  • 目前SMELT的schema是手工打造,计划未来实现自动学习任意Markdown文档的结构。
  • 许可证问题引发争议,限制过多可能影响开源贡献。
  • TooCas提到RUNE技术,未来模型将能自我执行压缩,与SMELT结合效果更佳。
  • SMELT编译器个人使用完全免费,开发者鼓励用户自行集成。
  • 本地模型没有缓存层,每条消息都需重新计算,SMELT显著减少计算负担。
  • TooCas提供了论文DOI和GitHub链接,方便用户查找和使用SMELT。

延伸问答

SMELT编译器如何减少OpenClaw的令牌使用?

SMELT编译器通过相关性筛选,仅发送与问题相关的记录,避免重复发送固定文件,从而显著减少令牌使用,最高节省95%。

TooCas对SMELT的开发有什么看法?

TooCas强调SMELT不仅是压缩,而是智能筛选,未来计划实现自动学习Markdown结构,以提升效率。

SMELT的第四层功能是什么?

SMELT的第四层通过查询条件式检索,根据实际问题对记录进行相关性评分,只发送相关内容,并保留上下文。

SMELT编译器的使用是否收费?

SMELT编译器个人使用完全免费,开发者鼓励用户自行集成。

SMELT与缓存有什么关系?

TooCas指出,缓存对本地模型没有用,每条消息都需重新计算,SMELT显著减少了计算负担。

SMELT的当前短板是什么?

目前SMELT的schema是手工打造,尚未实现自动学习任意Markdown文档的结构。

➡️

继续阅读