KL3M 分词器：针对法律、金融和预处理应用的领域特定及字符级分词器系列

本研究解决了专业领域分词器开发不足的问题，提出了针对法律、金融和政府文本的领域特定BPE分词器，具有更高的效率，使用的标记数量比现有的GPT-4o和Llama3减少了9-17%。此外，字符级BPE分词器在文本纠正任务中表现出色，保持了错误文本和正确文本之间的一致标记边界，显著提升了处理长篇法律和金融文件的性能和效率。