小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

本文讨论了Lucene文档模型中分析器对中文分词的影响。不同分析器(如StandardAnalyzer、ICU和IK插件)会导致不同的词项集合,从而影响索引和查询结果。文章强调索引和查询使用相同分析器是确保搜索结果一致性的关键。中文分词依赖于词典和模型,Lucene本身不提供生产级中文分词,常用插件如IK和jieba可热更新词典。分析器的选择和配置对性能和召回率有重要影响。

【全文检索引擎】分析链 Analyzer:从文本到 TokenStream

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-15T00:00:00Z

本文介绍了如何在个人博客中实现搜索功能,采用Pagefind与自建子串索引的双轨方案。Pagefind负责广泛搜索和用户界面,自建索引确保中文短语的精确匹配。构建过程中使用Jekyll生成静态文件,并通过Pagefind CLI创建索引。文章还讨论了中文分词的挑战及解决方案,强调了双轨方案的性价比和灵活性。

Blog增加搜索功能

elmagnifico elmagnifico · 2026-06-03T16:00:00Z

本研究针对中文分词中的词边界识别问题,采用语音-文本平行数据和Montreal Forced Aligner工具进行字符级对齐,提出了一种基于概率的过滤策略,实验结果表明该方法有效提升了分词性能。

Mining Word Boundaries from Speech-Text Parallel Data for Cross-Domain Chinese Word Segmentation

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-12T00:00:00Z

jieba.NET是jieba中文分词的.NET版本,支持精确、全模式和搜索引擎模式分词,可添加自定义词典和繁体分词。算法基于前缀词典和动态规划查找最大概率路径。支持并行分词和与Lucene.NET的集成。提供其他词典文件和词频统计功能。速度较快。

jieba中文分词的.NET版本

dotNET跨平台 dotNET跨平台 · 2024-07-05T00:02:53Z

本文介绍了使用Python的SnowNLP库对博客评论数据进行情感分析的实践,包括中文分词、文本分类、提取关键词、计算文本相似度等操作。通过情感分析得到评论的正面和负面情绪,并根据概率进行分类。文章还介绍了SnowNLP的安装和简单应用,并给出了对博客评论数据进行情感分析的代码示例。最后总结了使用SnowNLP进行博客评论数据情感分析的实践的意义和作用。

数据分析实战-Python实现博客评论数据的情感分析

六虎 六虎 · 2024-03-13T06:22:42Z
我的年度总结所使用到的数据分析和可视化工具

作者介绍了撰写年度总结所用的工具链:用org-mode记录日记与工作日志,并通过orgparse解析其树形结构;微信记录经EFB转发至Telegram后导出,B站记录则用脚本抓取。中文分词选用LTP,需在本地下载模型。用ImageMagick生成词云mask并裁剪白边,用july绘制热力图,用wordcloud配合中文字体与mask生成词云,用matplotlib_venn_wordcloud制作韦恩词云,其余图表用pandas和matplotlib绘制,布局采用subplot_mosaic。

我的年度总结所使用到的数据分析和可视化工具

ZMonster ZMonster · 2024-01-18T00:00:00Z

本文回顾了中文分词的发展,特别关注了深度学习技术的应用。作者认为,基于神经网络的方法仍存在挑战,但对未来持乐观态度。

古代汉语 CWS 和 POS 的基于不确定性的检索框架

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-12T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码