李文举 · 2022-06-18T01:20:08Z

NLP模型训练时数据预处理的教训

📝

内容提要

在NLP模型训练中，数据预处理至关重要。某文本分类服务在封装为gRPC服务后，某类别准确率下降30%，原因是gRPC服务去除了句子中的“ ”，而训练数据中许多句子以“ ”结尾，导致模型依赖这一特征。解决方案是在数据集中添加去除不可见字符的预处理操作。

🏷️

标签

NLP gRPC 不可见字符 准确率 数据预处理