数字化代币化的基础：统计与计算问题

本文讨论了分词的基础和统一框架，以及设计和实施分词器模型所需的统计和计算问题。这项工作对神经语言建模的理论基础有所贡献。