小模型，全溯源——Apache Sourcelume 的现状与未来方向
内容提要
Apache Sourcelume 是 Apache 顶级项目，旨在解决 AI 训练数据来源与许可信息缺失、难以核实的问题。它提供 JSON-LD 元数据规范，记录数据集来源、保管链和许可，并基于 Apache Atlas 构建参考注册表，通过 REST API 存取。项目新增 TrainingProvenanceRecord，让模型生产者以机器可读方式声明训练数据及披露程度。示例项目用公有领域文本训练小型模型并自动生成溯源记录。目前 Sourcelume 仅能存储和读取信息，尚不能验证真伪，社区正推进认证功能。
延伸解读
溯源记录的价值在于可机读与可解析
文章指出，当前模型训练数据的许可信息常缺失或难以核实，2024年审计发现热门数据集托管站点的许可遗漏率超过70%。Sourcelume 并不判定许可声明真伪，而是提供 JSON-LD 元数据规范、基于 Apache Atlas 的注册表和 REST API，让声明以统一格式、稳定标识符发布。这样其他人可以解析、比较和统计这些记录，而不是仅凭论文或模型卡中的文字描述来信任。
TrainingProvenanceRecord 补上模型侧声明缺口
数据集侧已有 ProvenanceRecord，但模型生产者此前没有中立渠道以机器可读方式声明训练数据。新增的 TrainingProvenanceRecord 类似模型的 SBOM，由生产者发布，引用数据集记录的规范标识符，并包含 token 数量与占比，还可标注披露程度为 complete、partial 或 undisclosed。文章强调，诚实的“不披露”本身也是值得发布的信息。
示例项目展示溯源记录可嵌入训练流程
apache/sourcelume-sample 用公有领域文本《爱丽丝梦游仙境》训练一个 71,891 参数的小型字符级语言模型，并在同一次运行中自动写入 TrainingProvenanceRecord，记录 token、占比、损失和时间戳。这说明溯源记录不必事后手工重建，而是可以直接在训练管道中生成，融入现有构建工具。
当前局限：能存能读，尚不能验证真伪
文章明确说明，Sourcelume 目前只能存储和读取已存入的信息，尚不能验证这些信息是否真实。社区正将认证功能作为下一阶段目标。因此，现阶段它解决的是溯源信息的结构化发布与获取问题，而非建立可信认证。读者应将其视为开放的基础设施，其验证能力仍待社区讨论和实现。
Q&A
Apache Sourcelume 是什么？它主要解决什么问题？
Apache Sourcelume 是 Apache 顶级项目，旨在解决 AI 训练数据来源与许可信息缺失、难以核实的问题。它提供 JSON-LD 元数据规范记录数据集来源、保管链和许可，并基于 Apache Atlas 构建参考注册表，通过 REST API 存取。
Sourcelume 的 ProvenanceRecord 和 TrainingProvenanceRecord 有什么区别？
ProvenanceRecord 用于记录数据集本身的来源、保管链和许可信息；TrainingProvenanceRecord 是新增的记录类型，由模型生产者发布，用于声明模型训练所用的数据集（通过规范标识符引用）、token 数量与份额，并披露程度（完整、部分或未披露）。
Sourcelume 目前能验证溯源信息的真实性吗？
不能。目前 Sourcelume 仅能存储和读取信息，尚不能验证真伪。社区正推进认证功能，作为下一个目标。
Sourcelume 的示例项目是如何演示训练溯源记录的？
示例项目 apache/sourcelume-sample 使用公有领域文本《爱丽丝梦游仙境》（Project Gutenberg 电子书 #11）训练一个 71,891 参数的小型字符级语言模型，并在同一训练流程中自动生成 TrainingProvenanceRecord，记录实际 token 数、份额、损失和时间戳，指向数据集记录的规范 IRI。
为什么说 Sourcelume 不是认证机构？它的定位是什么？
Sourcelume 不决定许可声明是否真实，而是提供“管道”：一套版本化的 JSON-LD 元数据规范、基于 Apache Atlas 的参考注册表以及工具，使溯源声明能以共享格式、稳定标识符发布，便于他人解析、比较和计数，而不是盲目信任。
如何参与 Apache Sourcelume 社区？
可以帮助构建和测试规范、贡献参考实现、改进示例和文档，或参与关于溯源声明表示与验证的讨论。也可尝试示例训练管道并分享反馈。项目代码和示例位于 github.com/apache/sourcelume-sample，更多信息访问 sourcelume.apache.org。
