新的令牌对象表示法(TOON)希望通过减少令牌消耗来降低大型语言模型(LLM)的成本

新的令牌对象表示法(TOON)希望通过减少令牌消耗来降低大型语言模型(LLM)的成本

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

最近发布的令牌对象表示法(TOON)旨在成为一种模式感知的JSON替代方案,能显著减少令牌消耗,某些情况下比JSON少用40%。TOON结合了YAML和CSV的布局,适用于不同数据结构,且准确性良好。TOON 1.0已在MIT许可证下发布。

🎯

关键要点

  • 最近发布的令牌对象表示法(TOON)旨在成为一种模式感知的JSON替代方案,能显著减少令牌消耗。
  • TOON在某些情况下比JSON少用40%的令牌,可能带来LLM和推理成本的节省。
  • TOON自我描述为一种紧凑、可读性强的JSON数据模型编码,适用于LLM提示。
  • TOON结合了YAML(用于嵌套对象)和CSV(用于统一数组)布局以节省令牌。
  • 对于非统一数据,JSON可能更高效;对于深度嵌套对象,YAML可能更节省令牌;对于扁平数据集,CSV仍然是最紧凑的格式。
  • TOON在字段头和数组声明上增加了约5%的开销,以提高LLM的准确性。
  • TOON在GPT 5 Nano上达到99.4%的准确率,同时使用46%更少的令牌。
  • 开发者可以查看TOON的规格、文档和在线工具,进行效率和准确性基准测试。
  • TOON的参考实现以TypeScript/JavaScript维护,包含完整的编码器和解码器,以及JSON到TOON转换的CLI工具。
  • TOON 1.0在两周前以MIT许可证发布。

延伸问答

TOON是什么,它的主要功能是什么?

TOON是令牌对象表示法,旨在成为一种模式感知的JSON替代方案,显著减少令牌消耗。

TOON相比于JSON能节省多少令牌?

在某些情况下,TOON比JSON少用40%的令牌。

TOON的准确率如何?

TOON在GPT 5 Nano上达到99.4%的准确率。

TOON是如何提高LLM的准确性的?

TOON在字段头和数组声明上增加了约5%的开销,以提高LLM的准确性。

开发者如何使用TOON进行基准测试?

开发者可以查看TOON的规格、文档和在线工具,进行效率和准确性基准测试。

TOON的参考实现在哪里可以找到?

TOON的参考实现可以在github.com/toon-format/toon找到。

➡️

继续阅读