Token在中文翻译中常被误译为“词元”,但其含义因领域而异:桌游中指指示物,密码学中指令牌,编译器中指词法记号,NLP中可指字符、词语或句子,LLM中则指字节对编码。作者认为“词元”仅适用于词法分析,建议统一译为“符”,因其本义为“指示另一实体的符号”,更贴合各领域用法。
完成下面两步后,将自动完成登录并继续当前操作。