小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
jieba-rs 分词性能优化记录:提升 2.4 倍

jieba-rs的性能优化记录显示,HMM分词速度从2.85µs降至1.32µs,非HMM从2.21µs降至0.94µs,分别提升了2.16倍和2.35倍。主要改动包括使用thread_local!替代lazy_static!、复用内存、减少拷贝和优化数据结构,最终用更高效的字符分类方法替换了正则引擎,显著提升了分词性能。

jieba-rs 分词性能优化记录:提升 2.4 倍

Messense Lv
Messense Lv · 2026-04-19T14:57:28Z
将jieba-rs的速度提升至2.4倍

jieba-rs在2025年进行了性能优化,核心分词速度提升至原来的2.4倍。HMM路径处理时间从2.85微秒降至1.32微秒,非HMM路径从2.21微秒降至0.94微秒。主要改进包括使用线程局部存储、减少内存分配和优化正则表达式使用,这些改动显著提高了处理效率,尤其是在处理大量句子时。

将jieba-rs的速度提升至2.4倍

Messense Lv
Messense Lv · 2026-04-19T14:56:57Z

jieba.NET是jieba中文分词的.NET版本,支持精确、全模式和搜索引擎模式分词,可添加自定义词典和繁体分词。算法基于前缀词典和动态规划查找最大概率路径。支持并行分词和与Lucene.NET的集成。提供其他词典文件和词频统计功能。速度较快。

jieba中文分词的.NET版本

dotNET跨平台
dotNET跨平台 · 2024-07-05T00:02:53Z

Jieba.NET是一个基于HMM的中文分词库,支持精确、全和搜索引擎三种分词模式。使用简单,可通过NuGet包管理器安装。可添加自定义词典提高准确性和效率。适用于.NET开发者。

.NET 中使用 Jieba.NET 实现中文分词匹配

dotNET跨平台
dotNET跨平台 · 2024-04-12T23:45:22Z

首先下载Anaconda和PyTorch,安装jieba,使用jieba分词,使用nn.Embedding训练词向量,实现代码的运行。

机器学习python环境搭建 - 蝈蝈俊

蝈蝈俊
蝈蝈俊 · 2023-03-02T00:41:00Z

以前做搜索的时候,大部分时间用sphinx、postgreSQL,后来用ES这类java的,但都比较重,要配置和使用需要好一段时间才能从零run起来。 最近正好有个场景,需要快速弄个搜索出来,正好python3里英雄众多,现成的东西不少,结合一下就完成了。下面是一些记录,代码整理后也会放到github中。

利用python,jieba,bm25,django,nginx半小时打造一个基本可用的中文全文检索的搜索引擎

Blog on 54 CHEN
Blog on 54 CHEN · 2021-08-10T11:18:21Z

其实很早以前就想搞一套完备的标签云架构了,迫于没有时间(其实就是懒),一直就没有弄出来完整的代码,说到底标签对于网站来说还是很重要的,它能够对一件事物产生标志性描述,通常都会采用相关性很强的关键字,这样不仅便于检索和分类,同时对网站的内链体系也是有促进作用的。最近疫情的关系一直在家里呆着,闲暇时和一些学生聊天的时候,人家问:你说你一直在写博客,那你到底在写一些什么内容的文章呢?我竟然一时语塞...

Python3.7+jieba(结巴分词)配合Wordcloud2.js来构造网站标签云(关键词集合)

刘悦
刘悦 · 2020-03-14T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码