基于LLMs的预测使用BPE标记而不是词素分解。通过比较拼写、词素和BPE标记的惊异估计与阅读时间数据，发现BPE标记的预测相对准确，但可能存在潜在问题。提出了一种评估词素预测的新方法。

上下文在阅读时间预测中的作用
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证