更快的 tsv 解析
💡
原文中文，约6800字，阅读约需17分钟。
📝
内容提要
这篇文章讨论了如何更快地解析tsv文件。作者尝试了使用正则表达式、减少内存分配、使用ASCII正则表达式和手写解析状态机等优化方法。最后作者发现，手写解析状态机的方法性能最好。作者还提到了使用SIMD加速的可能性。总结来说，对于简单的解析任务，手动解析可能比使用正则表达式更简单且性能更高。
🎯
关键要点
- 文章讨论如何更快地解析tsv文件。
- 作者尝试了多种优化方法，包括正则表达式、减少内存分配、使用ASCII正则和手写解析状态机。
- 手写解析状态机的方法性能最佳。
- 使用SIMD加速的可能性被提及。
- 对于简单的解析任务，手动解析可能比使用正则表达式更简单且性能更高。
- 项目搭建使用了criterion进行性能测试。
- 正则解析的性能测试结果为每次运行耗时约450微秒。
- 减少内存分配的优化效果有限，耗时约440微秒。
- 使用ASCII正则的性能与之前相似，耗时约430微秒。
- 抛弃正则，使用Rust内置的split方法解析性能显著提升，耗时约53微秒。
- 使用split_whitespace方法性能反而下降，耗时约60微秒。
- 手写解析状态机的版本耗时约32微秒，性能提升显著。
- 作者期待有SIMD加速的实现示例。
➡️
