UltraBERT-Embed-150M支持32K token输入,可将整篇文档压缩为单个768维向量。在LongEmbed和MLDR测试中,整文档向量在Passkey任务上召回率达99%,但在细节检索任务上普遍不如512 token分块,长文档细节易丢失。分块向量经1-bit TurboQuant压缩后体积缩小30倍,20万篇文章约140MB,保留约95%质量,重打分后达98%。结论:分块尚未过时,细节检索仍建议以512 token分块为起点。
完成下面两步后,将自动完成登录并继续当前操作。