心理语言学中标记化的正确处理

研究比较了拼写、词素和BPE标记的预测与阅读时间数据，重现了BPE标记预测没有明显问题的发现。但深入分析显示依赖BPE标记可能有潜在问题，并提出了评估词素预测的新方法。