研究：用于训练大型语言模型的数据集常缺乏透明度

研究发现超过70%的文本数据集缺少许可信息，约50%的数据集包含错误信息。

麻省理工学院等机构开发了Data Provenance Explorer工具，自动生成数据集的创作者、来源、许可和摘要。

该工具有助于AI从业者选择适合模型目的的训练数据集，提高模型准确性。

研究人员计划扩展到多模态数据的数据溯源，并与监管机构讨论数据溯源和版权问题。

研究者对1800多个文本数据集进行了系统审计，发现大多数数据集的许可信息不明确。

研究者定义了数据溯源，并开发了结构化审计程序来追踪数据集的来源和许可。

研究显示，几乎所有数据集创作者集中在全球北方，可能限制模型在不同地区的能力。

研究者希望通过Data Provenance Explorer帮助用户获取数据集信息，促进更明智的数据选择。

未来研究将扩展到多模态数据的溯源，并探讨数据源网站的服务条款如何影响数据集。

研究强调需要从一开始就确保数据溯源和透明度，以便更好地理解数据的使用和风险。