小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
相似度算法调研

本文调研了多种文本相似度算法,包括莱文斯坦编辑距离、汉明距离、Jaro及Jaro-Winkler、余弦相似度和SimHash。文章指出传统统计方法在语义上易误报,并重点介绍了各算法的原理与实现,如编辑距离通过最小编辑操作数衡量差异,SimHash作为局部敏感哈希可表征内容相似度。最后提及相关代码已开源至GitHub,供讨论改进。

相似度算法调研

像清水一般清澈透明 像清水一般清澈透明 · 2026-07-18T08:05:58Z

本研究提出了一种新训练目标,通过对语义表示施加约束,增强正样本对齐。同时,针对BERT模型的注意力沉没现象,提出交叉注意力结构,以提升CLS标签的注意力和池化质量。该方法在多个语义文本相似度任务中表现优异。

JTCSE: Joint Tensor Modal Constraints and Cross-Attention for Unsupervised Contrastive Learning of Sentence Embeddings

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-05T00:00:00Z
数据归类工具

文本相似度归类方法包括Levenshtein、Jaccard、余弦相似度和Jaro-Winkler等,适用于拼写检查、关键词匹配和文档推荐等场景。选择合适算法可提升文本处理效率。

数据归类工具

Raz1ner Raz1ner · 2025-03-24T00:42:40Z
数据归类工具

本文介绍了编辑距离、Jaccard相似度、余弦相似度和Jaro-Winkler相似度等文本相似度计算算法,详细阐述了各算法的优缺点及适用场景,以帮助用户选择合适的算法进行数据归类和匹配。

数据归类工具

Raz1ner Raz1ner · 2025-03-24T00:42:40Z

本研究提出了一种一致性聚焦的相似性比较框架(ConSCompF),用于比较生成大语言模型(LLMs)。该框架在少量未标记数据上操作,能够有效计算模型生成文本的相似度评分,帮助识别模型输出的相似性及潜在的投资欺诈风险。

Consistency-Focused Similarity Comparison Framework for Generative Large Language Models

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-18T00:00:00Z

今天探讨了集合论和范畴论下的标签体系,关注文本相似度计算,尽管算法较为机械。通过语义寻找相似性,AI提供了大模型的实现方法,标签体系似乎是大模型设计的基本视角。

难道我发现了大模型的基本逻辑?

学无止境@一点一滴 学无止境@一点一滴 · 2025-02-25T14:21:00Z

本研究提出了一种基于SAPPhIRE因果模型的新颖性评估框架,通过比较当前问题与历史问题的文本相似度,实现自动化评估,显著提升评估效率。

使用问题SAPPhIRE概念支持设计问题的新颖性评估

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-24T00:00:00Z

本研究探讨了将复杂政治要求分解为子问题的方法,以判断其真实性。提供了ClaimDecomp数据集和训练好的注释方法,旨在提高自动事实检测的准确性和效率。研究表明,通过子问题生成和基于文本相似度的查询,可以显著改善模型的推理可靠性和生成质量。

QuestGen:事实检查应用中的问题生成方法的有效性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-31T00:00:00Z

这篇文章讨论了孪生网络在文本相似度任务中的应用,特别是《Learning Text Similarity with Siamese Recurrent Networks》。孪生网络通过相同结构将两个查询映射到高维空间以计算相似度。使用BiLSTM结构的实验表明,损失函数的阈值设置对结果影响显著。孪生网络提供了一种不同于BERT的相似度计算方法,值得进一步探索。

孪生网络做 query 相似度任务

informal informal · 2022-05-30T16:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码