网安标委印发《网络安全技术 生成式人工智能服务安全基本要求(征求意见稿)》

💡 原文中文,约1800字,阅读约需5分钟。
📝

内容提要

随着人工智能技术的发展,生成式人工智能服务在自然语言处理和图像生成方面具有巨大潜力。全国网络安全标准化技术委员会发布了《网络安全技术 生成式人工智能服务安全基本要求(征求意见稿)》,规定了训练数据安全、模型安全和安全措施等基本要求,旨在提高服务安全水平。强调了对未成年人使用生成式人工智能服务的限制。

🔎

延伸解读

训练数据来源的量化红线

《要求》对训练数据来源设定了明确的量化门槛:采集前评估中,若数据内容含违法不良信息超过5%,则不应采集;采集后核验若仍超过5%,则不应使用该来源数据训练。这一比例要求为服务提供者提供了可操作的安全基线,也意味着数据来源的合规评估必须前置且可追溯。

模型安全从训练延伸到持续监测

《要求》不仅关注训练阶段的内容安全评价与安全审计,还强调对模型输入内容持续监测,建立常态化监测测评和应急管理措施,防范注入攻击、后门攻击、数据窃取、对抗攻击等。发现安全问题后,需通过指令微调、强化学习等方式优化模型,形成闭环处置。

关键场景与未成年人保护的特殊要求

对于用于关键信息基础设施,以及自动控制、医疗信息服务、心理咨询、金融信息服务等重要场合的生成式人工智能服务,《要求》要求具备与风险程度和场景相适应的安全保护措施。同时,当服务适用未成年人时,应允许监护人设定防沉迷措施,不应提供与其民事行为能力不符的付费服务;不适用未成年人的,应采取技术或管理措施防止使用。

❓

Q&A

生成式人工智能服务的安全基本要求包括哪些方面?

安全基本要求包括训练数据安全、模型安全和安全措施等。

如何确保训练数据的安全性?

服务提供者需对数据来源进行安全评估,确保数据内容不含违法信息,并对数据进行过滤。

生成式人工智能服务对未成年人的使用有什么限制?

应允许监护人设定防沉迷措施,不应向未成年人提供与其民事行为能力不符的付费服务。

服务提供者如何保证生成内容的准确性和可靠性?

服务提供者应采取技术措施提高生成内容的准确性和可靠性,并定期进行安全审计。

生成式人工智能服务可能引发哪些安全危机?

可能引发的数据泄露、恶意输入攻击等安全危机。

《网络安全技术 生成式人工智能服务安全基本要求(征求意见稿)》的目的是什么?

旨在帮助服务提供者明确网络安全基线,提高服务安全水平。

🏷️

标签

➡️

继续阅读