Rasa 中 JiebaTokenizer, LanguageModelFeaturizer 与 DIETClassifier 各自的作用及区别
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
本文介绍了 Rasa 中的核心组件 DIETClassifier 和 LanguageModelFeaturizer 的作用和区别，以及 JiebaTokenizer 的作用。这些组件能够有效地捕获用户输入中的语义信息并提高机器人的性能。
🎯
关键要点
- Rasa 中的 DIETClassifier 是用于意图分类和实体提取的深度学习模型，基于 transformer 架构。
- DIETClassifier 通过双向循环神经网络处理输入文本，生成上下文相关的表示，显著提高机器人的性能。
- LanguageModelFeaturizer 将输入文本转换为句子嵌入向量，使用预训练的语言模型生成这些向量。
- DIETClassifier 接受来自 LanguageModelFeaturizer 的句子嵌入向量进行意图分类和实体提取。
- JiebaTokenizer 用于中文文本的分词和词性标注，提高机器人对中文的理解能力。
- LanguageModelFeaturizer 和 JiebaTokenizer 在 Rasa 中的作用不同，前者生成句子嵌入向量，后者进行分词和词性标注。
- 观看 Rasa 官方视频教程可以帮助理解相关术语和概念。
➡️
