大模型备案作为合规化运营的重要资质,办理难度大,申报周期长。为了方便大家快速弄懂大模型备案,我将大量涉及文件和繁杂的流程进行了精简和总结,力求让大家能快速理解重点。
一、申报材料
大模型备案主要涉及语料安全评估、模型安全评估、安全措施评估三部分,主要申报材料如下所示:
《安全评估报告》
《模型用户协议和隐私协议》
《语料标注规则》
《拦截关键词列表》
《评估测试题》
《生成式人工智能(大语言模型)上线备案表》
其中,一些文件的解释和要点如下:
1、安全评估报告
需由专业机构或团队完成,全面评估大模型在语料处理、模型训练、服务提供等环节中的安全性。确保其在提供服务时既不会侵犯用户的合法权益,也不会传播违法违规的内容。重点如下(文中提及的“本文件8.2要求”等要求,特指2024年2月29发布的《生成式人工智能服务安全基本要求》提及的要求,全文及具体细节可参考此文件):
(1)语料安全评估
服务提供者对语料安全情况进行评估时,要求如下:
1)采用人工抽检,从全部语料中随机抽取不少于4000条语料,合格率不应低于96%。
2)结合关键词、分类模型等技术抽检,从全部语料中随机抽取不少于总量10%的语料,抽样合格率不应低于98%。
3)评估采用的关键词库、分类模型应符合本文件第8章要求。
(2)生成内容安全评估
服务提供者对生成内容安全情况进行评估时,要求如下。
1)应建设符合本文件8.2要求的生成内容测试题库。
2)采用人工抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%。
3)采用关键词抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%。
4)采用分类模型抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%。
(3)问题拒答评估
服务提供者对问题拒答情况进行评估时,要求如下。
1)应建设符合本文件8.3要求的拒答测试题库。
2)从应拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应低于95%。
3)从非拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应高于5%。
2、模型用户协议和隐私协议
模型服务协议是确保用户权益和企业利益得到充分保护的关键法律文件。此文件须明确签署双方在包括但不限于以下环节的责任和义务:
(1)服务范围
(2)双方权利义务
(3)数据使用
(4)违约责任
(5)费用和支付
(6)服务变更和终止
(7)争议解决
(8)法律适用和管辖
(9)用户反馈和投诉
3、语料标注规则
详细介绍标注人员资质、标注细则、标注流程等内容,确保来源合法性、流程规范性、结果准确性。以下是提交语料标注规则时应包含的关键要素:
4、拦截关键词列表
需要开发者准备一份详尽的拦截关键词列表,有效过滤有害信息,包括但不限于政治、色情、暴力、谣言等等。该份列表应至少包含10000个关键词,并定期更新以适应新的风险态势。为了确保内容的安全性和合规性,以下是准备拦截关键词列表时应考虑的关键点:
应至少覆盖《生成式人工智能服务安全基本要求》A.1以及A.2中17种安全风险,A.1中每一种安全风险的关键词均不宜少于200个,A.2中每一种安全风险的关键词均不宜少于100个。
5、评估测试题
用于检验生成内容的安全性,包括生成内容的正面示例、应拒答的负面内容以及非拒答测试题库。测试题集应严格按照《生成式人工智能服务安全基本要求》编制,确保测试结果的客观性和准确性。
部分省份的要求如下:
(1)题库采用人工抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%;
(2)从应拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应低于95%;
(3)从非拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应高于5%;
6、生成式人工智能(大语言模型)上线备案表
须在线下领取,部分省份还会在领取表格时进行简单询问。备案表主要内容如下:
(1)基本情况
(2)模型研制过程
(3)服务内容
(4)安全防范措施
(5)安全评估结果
(6)自愿承诺
填写表格时,必须确保所有信息的真实性和准确性,不得遗漏,也不得出现前后矛盾的地方。
二、大模型备案办理步骤
1、向属地网信报备,获取备案表
注:须提前与各省/直辖市/自治区网信预约时间
确定备案级别:根据大模型的规模、服务范围和影响,确定是向省级还是市级网信办提交备案申请。
2、准备材料和自测自查
对照备案表要求和评估要点,准备相应材料和大模型自测。须重点关注以下环节是否达到要求:
(1)应答题/拒答题回答率
(2)生成内容合格率
(3)关键词拦截列表
(4)语料来源是否合法
(5)安全措施是否健全
3、编写材料,准备测试账号
(1)确保所有材料之间的信息一致,没有矛盾之处。
(2)检查材料的格式和语言,确保其专业性和可读性。
(3)在提交前进行最终确认,确保所有准备工作都已就绪。
(4)确保产品测试账号能正常使用
4、提交材料和测试账号给属地网信办审核
在完成材料准备和测试账号设置之后,企业需要将这些材料正式提交给属地网信进行初审。注:有些省份可能在提供部分材料后就进行网信测试。具体情况请提供所在省份,供办理人员了解详情。
5、属地网信办初审
如果通过,要向中央网信发起审核流程。
如果审核未通过,需要自查调整,重新提交。
6、中央网信复审
中央网信复审后,会公示通过备案的企业,并下发大模型备案号。备案成功后,企业需要在显著位置标明大模型备案号,并提供公示链接,还需要准备接受可能的后续监管和检查,确保持续符合备案要求。