Jina AI
·
从原始数值识别嵌入模型
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
嵌入模型生成的向量具有明显的模型指纹，能够区分不同的任务指令。使用小型变换器分类器，准确率达到87%。该方法通过将浮点数视为字符序列进行标记，避免了结构假设。研究结果表明，不同模型和任务的输出模式可以有效区分，具有审计向量数据库和验证API模型使用的实际价值。
🎯
关键要点
- 嵌入向量的数值模式携带明显的模型指纹，可以区分不同的模型和任务指令。
- 使用小型变换器分类器，准确率达到87%，通过仅读取原始浮点数字进行识别。
- 将浮点数视为字符序列进行标记，避免了对数值结构的假设，采用数字级标记化方法。
- 分类器为4层编码器变换器，具有800K参数，能够处理长序列任务。
- 使用了10,000个多语言文本样本，生成68个不同的模型-任务组合，目标是从原始输出中检测模型身份和任务特定行为。
- 实验结果显示，模型能够有效区分不同模型和任务的输出模式，具有审计向量数据库和验证API模型使用的实际价值。
❓
延伸问答
嵌入模型的数值模式有什么特点？
嵌入模型的数值模式携带明显的模型指纹，可以区分不同的模型和任务指令。
如何通过浮点数识别模型和任务？
通过将浮点数视为字符序列进行标记，使用小型变换器分类器可以识别模型和任务，准确率达到87%。
该研究使用了多少个样本进行训练？
研究使用了10,000个多语言文本样本进行训练。
分类器的架构是什么样的？
分类器是一个4层编码器变换器，具有800K参数，能够处理长序列任务。
实验结果显示了什么？
实验结果显示模型能够有效区分不同模型和任务的输出模式，整体准确率为87%。
为什么数字级标记化方法有效？
数字级标记化方法避免了对数值结构的假设，使得模型能够直接学习数值模式。
➡️
