研究:用于训练大型语言模型的数据集常缺乏透明度
原文英文,约1200词,阅读约需5分钟。发表于: 。Researchers developed an easy-to-use tool that enables an AI practitioner to find data that suits the purpose of their model, which could improve accuracy and reduce bias.
研究人员发现超过70%的文本数据集缺少许可信息,约50%的数据集包含错误信息。麻省理工学院和其他机构的研究人员开发了Data Provenance Explorer工具,可以自动生成数据集的创作者、来源、许可和简明摘要。该工具有助于AI从业者选择适合模型目的的训练数据集,提高模型准确性。研究人员计划扩展研究到多模态数据的数据溯源,并与监管机构讨论数据溯源和版权问题。