微软进行重组，导致团队成员被解雇。主要职责是解决计算问题，参与了PC Hub和STAC VRT项目，负责数据管道和身份验证系统的开发。寻找下一份工作。

本文讨论了分词的基础和统一框架，以及设计和实施分词器模型所需的统计和计算问题。这项工作对神经语言建模的理论基础有所贡献。

本研究提出了Pre-gated MoE系统，解决了传统MoE体系的计算和内存问题，提高了性能，降低了GPU内存消耗，并保持了与传统模型相同的质量水平。

该研究提出了Pre-gated MoE系统，解决了传统MoE系统的计算和内存问题，提高了性能，降低了GPU内存消耗，并能以高性能方式使用单个GPU部署大规模LLMs。