InfoQ
·
新的令牌对象表示法（TOON）希望通过减少令牌消耗来降低大型语言模型（LLM）的成本
内容提要
最近发布的令牌对象表示法（TOON）旨在成为一种模式感知的JSON替代方案，能显著减少令牌消耗，某些情况下比JSON少用40%。TOON结合了YAML和CSV的布局，适用于不同数据结构，且准确性良好。TOON 1.0已在MIT许可证下发布。
关键要点
-
最近发布的令牌对象表示法（TOON）旨在成为一种模式感知的JSON替代方案，能显著减少令牌消耗。
-
TOON在某些情况下比JSON少用40%的令牌，可能带来LLM和推理成本的节省。
-
TOON自我描述为一种紧凑、可读性强的JSON数据模型编码，适用于LLM提示。
-
TOON结合了YAML（用于嵌套对象）和CSV（用于统一数组）布局以节省令牌。
-
对于非统一数据，JSON可能更高效；对于深度嵌套对象，YAML可能更节省令牌；对于扁平数据集，CSV仍然是最紧凑的格式。
-
TOON在字段头和数组声明上增加了约5%的开销，以提高LLM的准确性。
-
TOON在GPT 5 Nano上达到99.4%的准确率，同时使用46%更少的令牌。
-
开发者可以查看TOON的规格、文档和在线工具，进行效率和准确性基准测试。
-
TOON的参考实现以TypeScript/JavaScript维护，包含完整的编码器和解码器，以及JSON到TOON转换的CLI工具。
-
TOON 1.0在两周前以MIT许可证发布。
延伸解读
TOON的优势与应用场景
TOON作为一种新的数据表示法，能够在保持高准确率的同时显著减少令牌消耗，适用于大型语言模型（LLM）的提示生成。尤其在需要处理大量数据时，TOON的节省效果尤为明显，开发者可以在特定场景下利用其优势来降低成本。
与其他格式的比较
TOON结合了YAML和CSV的优点，但在不同数据结构下的表现各异。对于深度嵌套对象，YAML可能更高效；而对于扁平数据集，CSV仍然是最紧凑的选择。开发者在选择数据格式时，应根据具体数据结构进行评估，以实现最佳性能。
准确性与效率的平衡
TOON在使用46%更少的令牌的同时，仍能达到99.4%的准确率，这表明其在效率与准确性之间找到了良好的平衡。开发者在设计应用时，需关注这种平衡，以确保在降低成本的同时不牺牲模型的性能。
延伸问答
TOON是什么，它的主要功能是什么？
TOON是令牌对象表示法，旨在成为一种模式感知的JSON替代方案，显著减少令牌消耗。
TOON相比于JSON能节省多少令牌？
在某些情况下，TOON比JSON少用40%的令牌。
TOON的准确率如何？
TOON在GPT 5 Nano上达到99.4%的准确率。
TOON是如何提高LLM的准确性的？
TOON在字段头和数组声明上增加了约5%的开销，以提高LLM的准确性。
开发者如何使用TOON进行基准测试？
开发者可以查看TOON的规格、文档和在线工具，进行效率和准确性基准测试。
TOON的参考实现在哪里可以找到？
TOON的参考实现可以在github.com/toon-format/toon找到。
