本文比较了LZ77与LZ78两种压缩算法：LZ77以滑动窗口为字典，LZ78增量构建短语表。实测表明，二叉树查找器每位置仅需访问22个候选即可获得完整匹配列表，而哈希链需884个；最优解析比贪心解析小12.7%。LZW的表满策略影响大于算法本身。渐近最优在真实文件上收敛极慢，2²⁴比特后LZ78仍比熵高9.7%。

本研究提出了一种名为MultiTok的新分词方法，灵感来源于LZW压缩，旨在提高大型语言模型的训练效率。MultiTok通过将重复短语压缩为多词令牌，实现了接近2.5倍的训练速度提升和超过30%的数据减少，同时保持相似的准确性。