我不小心构建了一个表情包搜索引擎
内容提要
本文介绍了作者利用siglip和向量编码构建表情包搜索引擎的过程。通过爬取图像、生成向量并存储在数据库中，作者实现了图像和文本的相似搜索。使用Apple的CLIP模型，成功将图像和文本编码为向量，展示了多模态搜索的应用。作者鼓励读者利用此技术整理照片库，并分享了相关开源代码。
延伸解读
技术选型与本地运行优势
作者在构建表情包搜索引擎时，选择了siglip和CLIP模型进行图像与文本的向量编码，并利用Apple的MLX框架在本地运行。本地运行不仅避免了云服务的延迟和费用，还充分利用了Apple Silicon的强大性能，使得处理速度甚至超过4090显卡。这种方案适合个人开发者快速实验，无需依赖外部基础设施。
多模态搜索的实际应用
通过将图像和文本编码到同一向量空间，作者实现了用文本搜索图像的功能。例如，搜索“money”或“AI”可以返回相关的表情包，这种多模态搜索打破了传统基于标签的检索限制。对于个人照片库，这意味着可以用自然语言查找特定场景、物体或情绪的照片，极大提升了整理和发现的效率。
处理大规模图像库的工程考量
作者在爬取超过20万张图像时，设计了基于sqlite和msgpack的中间存储，以支持断点续传和容错。虽然流程看似冗余，但确保了在长时间运行中遇到崩溃或断电时能恢复进度。对于普通用户，处理14万张照片约需6小时，表明该方案在个人设备上具有可行性，但需注意存储和计算资源。
开源代码与扩展可能性
作者开源了photo-similarity-search项目，并鼓励读者基于此技术整理个人照片库。代码使用Flask和Tailwind构建简单界面，易于修改和扩展。作者还提出挑战：构建本地原生Mac应用，集成自动标注、关键词提取等功能。这为开发者提供了明确的改进方向，也展示了该技术在产品化方面的潜力。
Q&A
如何构建一个表情包搜索引擎？
作者利用siglip和CLIP模型，通过爬取图像、生成向量并存储在数据库中，构建了一个表情包搜索引擎。
CLIP模型在搜索引擎中有什么作用？
CLIP模型用于将图像和文本编码为向量，从而实现图像和文本的相似搜索。
如何使用作者的开源代码整理个人照片库？
作者鼓励读者使用其开源代码，通过爬虫程序抓取图像并生成向量，以整理个人照片库。
表情包搜索引擎的实现过程中遇到了哪些挑战？
作者创建了一个简单的爬虫程序，并在处理140k图像时考虑了系统崩溃的恢复能力。
向量数据库的作用是什么？
向量数据库用于存储和搜索编码后的项目，使得查找相似项目变得高效。
如何利用多模态搜索技术？
通过将图像和文本编码为向量，可以使用多模态搜索技术来查找与输入文本相似的图像。
