BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z

Experimental Evaluation of Japanese Tokenizers in Sentiment Text Classification

📝

内容提要

本研究比较了MeCab、Sudachi和SentencePiece在日本文本情感分类中的表现。结果表明，Sudachi生成的词元最符合词典定义，而SentencePiece结合TF-IDF和逻辑回归的分类效果最佳。

🏷️

标签

MeCab SentencePiece Sudachi TF-IDF 情感分类