每周编辑精选|FewJoint 基准数据集上线、科技部监督司发布 AI 新规
内容提要
哈工大推出了FewJoint基准数据集,供NLP小样本评测使用。hyper.ai还有其他中文大模型训练的NLP数据集可下载。
延伸解读
小样本学习与 FewJoint 的评测价值
小样本学习旨在让模型通过少量样本掌握新任务,是推动机器智能接近人类智能的关键方向。哈工大推出的 FewJoint 基准数据集为 NLP 小样本评测提供了公共基准,其语料来自讯飞 AIUI 开放平台的真实用户语料和专家构造语料,比例约为 3:7,覆盖 59 个真实领域,是目前包含领域最多的对话数据集之一。这为研究者提供了更贴近实际场景的评测环境。
中文大模型训练的数据资源概览
除 FewJoint 外,hyper.ai 还上线了多个面向中文大模型训练的 NLP 数据集。例如,100 PoisonMpts 是首个大语言模型治理开源中文数据集,用于偏见与歧视的攻防标注;CLUE 是中文语法理解评测基准;CCI 中文互联网语料库经过严格清洗和去重;PKU 简体中文分词数据集用于分词模型训练与评测。这些资源覆盖了从基础分词到模型治理的多个环节。
AI 治理与科研规范的同步推进
本周更新中,科技部监督司发布了《负责任研究行为规范指引(2023)》,针对人工智能等热点问题规范了 AI 在科研中的应用。与此同时,100 PoisonMpts 数据集通过“投毒”与“解毒”的攻防标注,为中文大模型治理提供了开源数据。这两者从政策与数据层面共同回应了 AI 治理需求,值得研究者关注。
Q&A
FewJoint 基准数据集是什么?它有什么特点?
FewJoint 是哈工大推出的 NLP 小样本评测基准数据集,来自讯飞 AIUI 开放平台的真实用户语料和专家构造语料(比例约 3:7),包含 59 个真实领域,是目前包含领域最多的对话数据集之一。
100 PoisonMpts 数据集是做什么的?
100 PoisonMpts 是业内首个大语言模型治理开源中文数据集,由数十位专家学者标注,每人提出 100 个诱导偏见、歧视回答的刁钻问题,并对大模型回答进行标注,完成与 AI 的「投毒」和「解毒」攻防。
科技部监督司针对 AI 在科研中的应用发布了什么规范?
2023 年 12 月 21 日,科技部监督司发布《负责任研究行为规范指引(2023)》,针对人工智能等热点问题,规范了 AI 等技术在科研中的应用。
CLUE 数据集主要用于什么任务?
CLUE(A Chinese Language Understanding Evaluation Benchmark)是用于对中文语法理解任务进行训练、校验和测试的数据集。
PD&CFT 数据集包含哪些内容?
PD&CFT 是第一个中文阅读理解数据集,包含人民日报和儿童童话(People Daily & Children's Fairy Tale)的文本内容。
hyper.ai 平台提供了哪些资源?
hyper.ai 是国内领先的人工智能及高性能计算社区,为 1200+ 公开数据集提供国内加速下载节点,收录 300+ 在线教程,解读 100+ AI4Science 论文案例,支持 500+ 相关词条查询,并托管国内首个完整的 Apache TVM 中文文档。