网安标委印发《网络安全技术 生成式人工智能服务安全基本要求(征求意见稿)》
内容提要
随着人工智能技术的发展,生成式人工智能服务在自然语言处理和图像生成方面具有巨大潜力。全国网络安全标准化技术委员会发布了《网络安全技术 生成式人工智能服务安全基本要求(征求意见稿)》,规定了训练数据安全、模型安全和安全措施等基本要求,旨在提高服务安全水平。强调了对未成年人使用生成式人工智能服务的限制。
延伸解读
训练数据来源的量化红线
《要求》对训练数据来源设定了明确的量化门槛:采集前评估中,若数据内容含违法不良信息超过5%,则不应采集;采集后核验若仍超过5%,则不应使用该来源数据训练。这一比例要求为服务提供者提供了可操作的安全基线,也意味着数据来源的合规评估必须前置且可追溯。
模型安全从训练延伸到持续监测
《要求》不仅关注训练阶段的内容安全评价与安全审计,还强调对模型输入内容持续监测,建立常态化监测测评和应急管理措施,防范注入攻击、后门攻击、数据窃取、对抗攻击等。发现安全问题后,需通过指令微调、强化学习等方式优化模型,形成闭环处置。
关键场景与未成年人保护的特殊要求
对于用于关键信息基础设施,以及自动控制、医疗信息服务、心理咨询、金融信息服务等重要场合的生成式人工智能服务,《要求》要求具备与风险程度和场景相适应的安全保护措施。同时,当服务适用未成年人时,应允许监护人设定防沉迷措施,不应提供与其民事行为能力不符的付费服务;不适用未成年人的,应采取技术或管理措施防止使用。
Q&A
生成式人工智能服务的安全基本要求包括哪些方面?
安全基本要求包括训练数据安全、模型安全和安全措施等。
如何确保训练数据的安全性?
服务提供者需对数据来源进行安全评估,确保数据内容不含违法信息,并对数据进行过滤。
生成式人工智能服务对未成年人的使用有什么限制?
应允许监护人设定防沉迷措施,不应向未成年人提供与其民事行为能力不符的付费服务。
服务提供者如何保证生成内容的准确性和可靠性?
服务提供者应采取技术措施提高生成内容的准确性和可靠性,并定期进行安全审计。
生成式人工智能服务可能引发哪些安全危机?
可能引发的数据泄露、恶意输入攻击等安全危机。
《网络安全技术 生成式人工智能服务安全基本要求(征求意见稿)》的目的是什么?
旨在帮助服务提供者明确网络安全基线,提高服务安全水平。