MIT News - Artificial intelligence
·
研究：用于训练大型语言模型的数据集常缺乏透明度
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
研究人员发现超过70%的文本数据集缺少许可信息，约50%的数据集包含错误信息。麻省理工学院和其他机构的研究人员开发了Data Provenance Explorer工具，可以自动生成数据集的创作者、来源、许可和简明摘要。该工具有助于AI从业者选择适合模型目的的训练数据集，提高模型准确性。研究人员计划扩展研究到多模态数据的数据溯源，并与监管机构讨论数据溯源和版权问题。
🎯
关键要点
- 研究发现超过70%的文本数据集缺少许可信息，约50%的数据集包含错误信息。
- 麻省理工学院等机构开发了Data Provenance Explorer工具，自动生成数据集的创作者、来源、许可和摘要。
- 该工具有助于AI从业者选择适合模型目的的训练数据集，提高模型准确性。
- 研究人员计划扩展到多模态数据的数据溯源，并与监管机构讨论数据溯源和版权问题。
- 研究者对1800多个文本数据集进行了系统审计，发现大多数数据集的许可信息不明确。
- 研究者定义了数据溯源，并开发了结构化审计程序来追踪数据集的来源和许可。
- 研究显示，几乎所有数据集创作者集中在全球北方，可能限制模型在不同地区的能力。
- 研究者希望通过Data Provenance Explorer帮助用户获取数据集信息，促进更明智的数据选择。
- 未来研究将扩展到多模态数据的溯源，并探讨数据源网站的服务条款如何影响数据集。
- 研究强调需要从一开始就确保数据溯源和透明度，以便更好地理解数据的使用和风险。
➡️
