一次不成功的 pull request
内容提要
文章探讨了一种将4096维向量降维至256维的简单算法，适用于RAG应用。作者尝试了多种不依赖外部库的算法，发现按固定区间分组求平均值的效果最佳。尽管算法简单且具有实验意义，但仍需改进。接下来，作者计划构建基于样本集的降维算法，并开发独立的矩阵计算库，以更好地处理新出现的嵌入模型。
延伸解读
无状态降维的尝试与局限
作者希望找到一种不依赖样本、可直接对任意向量降维的简单算法，以便无状态地用于RAG。他尝试了norm reduce和diff reduce等朴素方法，发现按固定区间分组求平均的norm reduce效果最佳，但仍不理想。这揭示了无样本降维的固有困难：缺乏数据分布信息，难以保留关键特征。
简单算法的意外表现与反思
在对比中，norm reduce在512维时甚至优于1024维，能保持原始向量的前几个匹配结果。然而，作者指出这种机械分组忽略了维度间的隐含相关性，效果有限。diff reduce虽保留了几何变化特征，但整体混乱。这说明分组策略比聚合方法更重要，也解释了PCA计算协方差和SVD的必要性。
从实验到工程化的后续计划
尽管PR被拒，作者计划转向基于样本集的降维算法，实现正规PCA处理，并尝试为特定嵌入模型训练神经网络降维，利用ggml库。他还将编写独立矩阵计算库，将PGVector支持作为可选编译选项。这些步骤旨在为未来数据库层面的矩阵计算做准备，体现了从简单实验到系统化解决方案的演进。
Q&A
这篇文章介绍了什么样的降维算法？
文章介绍了一种将4096维向量降维至256维的简单算法，主要通过按固定区间分组求平均值的方法实现。
作者为什么选择不依赖外部库的算法？
作者希望找到一个简单的压缩算法，能够有效处理嵌入向量，同时不依赖重的外部资源，以便于实现和使用。
文章中提到的norm reduce算法有什么特点？
norm reduce算法是通过按固定区间分组求平均值来降维，尽管简单，但在大多数情况下能保持原向量匹配的最佳样本。
作者对降维算法的未来计划是什么？
作者计划构建基于样本集的降维算法，并开发独立的矩阵计算库，以更好地处理新出现的嵌入模型。
为什么作者的pull request被拒绝？
尽管作者提交了一个简单的降维算法，但由于其效果仍不够理想，因此被拒绝。
文章中提到的diff reduce算法是什么？
diff reduce算法通过计算相邻维度的差分并找到最大的差分作为边界，将原向量分割为n份，再求平均值。
