小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
LLM 提示缓存与语义缓存之比较

文章比较了LLM应用中的提示缓存与语义缓存。提示缓存复用请求开头共享内容(如指令、产品手册)已计算的KV状态,要求前缀完全一致,可降低输入处理成本,但输出仍需重新生成。语义缓存用嵌入模型匹配相似问题并复用旧答案,难点在相似度阈值:过严漏掉改写问题,过松返回错误答案,且需结合用户、权限、版本等元数据过滤,并靠TTL、版本化等策略失效缓存。两者可互补:先查语义缓存,未命中再调用LLM并利用提示缓存。

LLM 提示缓存与语义缓存之比较

ByteByteGo Newsletter ByteByteGo Newsletter · 2026-10-21T15:31:08Z
为RAG构建语义缓存

本文介绍为RAG流水线构建语义缓存:用Qdrant存储历史问题向量,命中则跳过知识库检索和LLM调用,节省时间与成本。相似度阈值需按用例校准,建议用金标集划分训练、验证、测试集调优。高阈值只能覆盖近似重复问题,可用Jev分类器处理灰色地带。缓存需设置过期时间,并在源文档变更时失效。

为RAG构建语义缓存

Qdrant - Vector Database Qdrant - Vector Database · 2026-10-09T08:00:00Z
Flex-π——比Fast-WAM更快的多流世界-动作模型:可按需融合RGB和“从RGB中获取的3D pointmap和DINO语义”,联合生成潜在的未来视觉特征和动作

Flex-π 是华盛顿大学与英伟达提出的 60 亿参数世界-动作模型,旨在调和 VLA 与 WAM 之争。它用单一冻结 VAE 同时编码 RGB 与 3D 点图,用 DINOv3 提供物体语义,经 Mixture-of-Transformers 融合。训练时随机掩蔽视觉流并施加跨模态强制,使单一权重在推理时可灵活选择快慢路径,兼顾实时性与泛化,无需额外传感器或重训先验。

Flex-π——比Fast-WAM更快的多流世界-动作模型:可按需融合RGB和“从RGB中获取的3D pointmap和DINO语义”,联合生成潜在的未来视觉特征和动作

结构之法 算法之道 结构之法 算法之道 · 2026-10-01T10:31:38Z
Show-Harness——仅凭一个VLM智能体即可操控机器人:12个语义动作单元(前进/旋转/抓取)既是模型的思考语言、又是机器人的物理指令

论文提出Show-Harness具身控制框架,使视觉语言模型通过离散语义动作单元直接操控机器人,无需微调即可零样本控制,少量微调可适配小模型;并提出GUMI界面,支持人类与智能体在统一动作空间采集示教数据,实现跨形态复用与协同采集。

Show-Harness——仅凭一个VLM智能体即可操控机器人:12个语义动作单元(前进/旋转/抓取)既是模型的思考语言、又是机器人的物理指令

结构之法 算法之道 结构之法 算法之道 · 2026-09-26T15:41:29Z
YC投资开源Whiteboard:用画布和语义diff帮你读懂AI代码

2026年,四人团队开源了Whiteboard,通过画布、语义化差异查看器和决策日志帮助理解AI生成的代码。它可接入Claude Code等智能体,点击图表跳转源码,语义差异仅显示关键变更。文章指出AI写码速度过快,人类理解力成为瓶颈,导致“认知债务”。但该工具无法编辑代码,体积达736MB,且存在真相源过期问题。

YC投资开源Whiteboard:用画布和语义diff帮你读懂AI代码

极道 极道 · 2026-09-24T21:42:00Z
开源jegrep:抛弃grep或RAG,用Jev实现语义搜索反而更省钱

Can Bölük 发布开源命令行工具 jegrep,利用 Jev 大模型直接遍历代码库进行语义搜索,无需预建向量索引。每次搜索成本仅几分钱,远低于 GPT-4o 方案。工具内置十二种搜索策略,支持双 API 通道容错,可输出 JSON,但安装受 glibc 版本和 Rust nightly 限制。

开源jegrep:抛弃grep或RAG,用Jev实现语义搜索反而更省钱

极道 极道 · 2026-09-20T08:03:00Z
Jev是一种新型语义计算方式。只是大多数人还没有意识到这一点

TypeSafe AI发布Jev框架,将大语言模型拆解为可组合的“智能原语”,可像逻辑门一样嵌入代码管线,单次调用成本仅几分钱,支持大规模并行。社区三天内跑通自进化分类器、浏览器端对抗性测试等生产级应用,降低了安全测试与数据处理成本。但其底层推理架构与商业模式尚不明确,能否从短期热潮走向长期基建仍待观察。

Jev是一种新型语义计算方式。只是大多数人还没有意识到这一点

极道 极道 · 2026-09-19T06:21:00Z
Himalayas如何借助Qdrant为10万+远程职位构建语义职位匹配

Himalayas远程招聘平台为超10万职位构建语义匹配,因关键词搜索无法弥合用词差异且成本高,于2023年从Pinecone迁移至Qdrant。Qdrant在同一查询中结合语义检索、关键词匹配与结构化过滤,支撑搜索和个性化推荐等场景,日均处理数十万请求,中位延迟约30毫秒,召回率提升约19个百分点。

Himalayas如何借助Qdrant为10万+远程职位构建语义职位匹配

Qdrant - Vector Database Qdrant - Vector Database · 2026-09-18T00:00:00Z
构建语义代码搜索的RAG管线:开发者日记与实战笔记

JetBrains 团队分享了构建语义代码搜索 RAG 管线的经验:使用语言解析器进行结构感知分块,避免固定切分破坏语义;向量化时保留全部维度并压缩为单比特,通过汉明距离检索以大幅节省存储;嵌入文件路径辅助定位;不存储源码、不用数据训练以保护隐私。

构建语义代码搜索的RAG管线:开发者日记与实战笔记

The JetBrains Blog The JetBrains Blog · 2026-09-17T12:39:40Z
语义相近却总找错资料?从Embedding看懂向量检索

Embedding将文本转为向量,使语义相近内容在向量空间靠近,解决关键词不同也能检索的问题。但相似不等于能回答问题,需结合分块、重排和阈值校准。新论文ReWAM用检索结果反向监督推理,提升多模态检索吞吐。实践应先清理语料、混合检索并建立失败集,而非盲目换复杂模型。

语义相近却总找错资料?从Embedding看懂向量检索

Java for You Java for You · 2026-09-16T01:22:09Z
用 Amazon DynamoDB 构建无需双写的 Agent Memory 与语义检索

本文介绍如何用Amazon DynamoDB原生向量搜索构建Agent长期记忆,无需双写。通过将业务属性和embedding存入同一item,用一次PutItem写入,SearchVectors语义召回,Query按时间读取。文章涵盖数据模型、建表、写入、检索细节,并指出分区键非安全边界、等值过滤限制、成本按字节计费等注意事项,适合操作型数据已在DynamoDB的场景。

用 Amazon DynamoDB 构建无需双写的 Agent Memory 与语义检索

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-08-31T07:09:19Z
语义签名正在操控你的大脑,AI让这件事快了一万倍!

AI通过“语义签名”操控人类认知,将复杂意义压缩成故事、文字等投影,触发大脑反应。媒体、广告和AI正成为巨型投影仪,批量制造信息,影响思维和情绪。应对方法是“读穿文本”,主动识别这些签名,而非被动沉浸。未来取决于选择:被操控或学会解码,保持独立思考。

语义签名正在操控你的大脑,AI让这件事快了一万倍!

极道 极道 · 2026-08-28T08:14:00Z
语义签名正在操控你的大脑,AI让这件事快了一万倍!

文章探讨AI如何通过“语义签名”操控人类认知,类比柏拉图洞穴中的影子。大脑将复杂意义压缩为低维投影(如故事、文字),媒体和算法利用AI加速投射这些签名以影响思维。作者提出“读穿文本”以识别操控,并警示未来可能走向“人类蜂巢”或主动解码的两条路径。

语义签名正在操控你的大脑,AI让这件事快了一万倍!

极道 极道 · 2026-08-28T08:14:00Z
为什么GPU调度很重要:从调度全景到验证HAMi互斥语义

GPU调度需依次解决三个层次的问题:选择节点、选择卡、确定卡在机器内的位置。本文基于三层框架分析HAMi v2.10的策略链,并澄清常见误解:互斥并非排斥其他互斥Pod,而是要求独占整张卡。结论通过可在笔记本上复现的关键实验得出。

为什么GPU调度很重要:从调度全景到验证HAMi互斥语义

云原生 云原生 · 2026-08-28T07:38:12Z

本文介绍etcd v3.5.33中Txn事务的实现机制,包括只读与写事务路径、compare操作(MOD/CREATE/VERSION等)、MVCC可见性及嵌套事务处理。同时分析Jepsen测试边界:KV多键事务在3.4.3中通过严格可串行化检验,但Lease锁因时钟分区问题不安全,需配合fencing机制使用。最后提供并发场景速查表,强调Txn用于条件更新和锁保护,避免无Lease永久key等误区。

【etcd】Txn 与并发语义:compare/mod 与 Jepsen 边界

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-26T00:00:00Z
值类仍需编译器支持

声明值类首先是一个语义决策,表明其实例完全由状态定义,无需身份标识。这种清晰模型本身有价值,JVM 优化表示是额外好处。C2 编译器能利用此自由,但无法总是恢复抽象边界后的信息。分析生成代码是理解关键,为获最佳结果,需对编译器保持一定理解。

值类仍需编译器支持

insidejava insidejava · 2026-08-24T00:00:00Z

本地文档问答引擎支持基于本地大量文件提问并获取答案,完全离线运行,保障隐私安全。与需指定文档的anythingLLM及仅提供搜索的qmd不同,它整合多文件回答。首次使用需下载嵌入、重排及推理模型,如Xenova/bge-small-zh-v1.5、BAAI/bge-reranker-base和Qwen2.5-3B。

docq:基于本地文档的语义搜索和问答引擎

Rust.cc Rust.cc · 2026-08-23T12:50:33Z

magpie 是一款通过 Alt+Space 唤起的桌面启动器,旨在解决“存过就忘”的问题。它支持同步 GitHub Stars、索引本地文件(包括全文检索和图片搜索)、自动发现浏览器书签,并可作为快捷浏览器。该工具基于 Rust 和 Tauri 构建,采用本地推理模型,注重隐私安全,对国内网络友好,并支持离线使用。

magpie:Rust + Tauri 写的本地优先 Spotlight 式启动器,搜 GitHub stars / 本地文件全文 / 图片语义 / 浏览器书签

Rust.cc Rust.cc · 2026-08-22T07:43:43Z
magpie 本地语义搜索

magpie 是一款本地语义搜索工具,支持文件、GitHub 星标和浏览器书签。它通过关键词和语义双路检索,支持文本与图片搜索,数据本地存储,不联网。用户可用快捷键快速查找,索引高效,支持多种文件格式,并注重隐私和性能优化。

magpie 本地语义搜索

阁子 阁子 · 2026-08-21T14:28:22Z
LLM 语义表征进搜索排序,工程上先看成本和回滚

美团技术团队将LLM语义表征应用于搜索排序,提升语义匹配能力。工程落地需关注成本、延迟、缓存和回滚,建议按场景灰度并拆分监控。跨场景复用可降本,但需明确边界和降级策略。普通团队应先小范围验证,列清延迟、更新频率、降级和监控四张表,视其为长期维护的基础设施。

LLM 语义表征进搜索排序,工程上先看成本和回滚

mongona news mongona news · 2026-08-20T22:38:57Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码