关注我们 - 数字罗塞塔计划 -
为进一步推进档案开放审核工作提质增效,结合近几年的业务探索、研究及项目实践,形成了一套较为成熟、高效的AI辅助档案开放审核解决方案,即以“AI+人工”的人机协同模式引领档案开放审机制创新,在档案开放审核服务过程中,从“定制本地化审核模型、审核数据前处理、SM筛查、AI辅助审核、专业人工复核等九个环节全方位构建AI辅助档案开放审核框架,有效实现档案开放审核的智能化治理和管控,从而推动档案开放审核工作向高质量发展。
( 一 )
AI辅助档案开放审核九步工作法
九步工作法如下图所示:
第一步 制定审核工作计划
根据到期档案审核任务的提醒,结合档案开放审核工作的总体要求,由档案开放审核小组组织开展审核工作,明确审核工作内容、周期,针对审核数据的所属年代、数字化(数据化)进展情况以及现行的审核办法、会审要求等事项进行研究讨论,制定审核工作计划,明确审核工作目标和任务。
第二步 定制本地化审核模型
运用AI辅助档案开放审核管理系统(以下简称“审核系统”),结合档案开放审核办法,细化审核规则调整,训练本地数据,定制适应本地化的算法模型。经过“AI赋能”不仅能够扩大有效供给,提升供给能力,而且能够促进供给侧与需求侧的高效耦合和精准匹配,进一步优化审核能力。
第三步 数据交接
结合审核系统部署情况,可实现在线或离线交接待审核数据。其中在线交接即同在局域网环境下,打通审核系统与馆藏系统的数据接口,在线接收馆藏系统推送的数据包(条目+全文)。全文导入格式支持:PDF、JPG、TIFF等,条目字段值支持选择性获取,如档号、责任者、年度、文件编号、题名等。
第四步 SM筛查
结合档案管理现状,审核过程中可能接触未解密档案数据,为规范作业,需根据工作需要原则、最小化原则设定人员知悉范围。由具有知悉权的人员进行涉密筛查,排除密件后,交由其他工作人员处理,同时落实数据安全、操作安全等措施,确保档案开放审核合理、规范。
第五步 数据质量处理
因部分档案数字化年代较早,档案整理、数字化加工等的数据质量问题直接影响审核判定,因此审核前进行数据质量处理必不可少。具体措施主要包括以下几个方面:一是数据质量检测。基于国家相关标准规范,借助档案数据质量检测工具,自动生成检测报告;二是数据清洗,对于影响开放审核及利用的问题数据,如条目与全文数量不匹配,无全文等问题进行修正;三是数据化处理,结合审核数据数字化成果特征,运用OCR识别专用技术,针对待审核数据进行数据化处理。
第六步 AI辅助审核
构建开放以及延期开放关键词规则库,运用AI算法模型实现智能分库,通过自动或人工分配审核任务,由AI辅助审核,形成初审意见,即形成开放或延期开放审核意见。
第七步 专业人员审核
在AI辅助审核后设置人工审核子流程,包括专业人工复审、移交单位会审、档案馆终审等步骤。由专业人员对AI辅助审核意见进行复审,同时进行数据分析,从而保障审核准确率。
第八步 模型训练
对终审数据按分类编制数据集,进行AI算法模型训练,将其中大部分数据输入模型中进行训练,并对训练好的模型通过剩余的数据进行准确率测试,预测准确率达到预期值以上时即认为模型训练成功,否则需要调整模型算法直至达到预期值。模型训练成果反哺审核系统,从而形成AI辅助开放审核的闭环管理。
第九步 审核成果输出
通过“人机协同”完成审核任务,自动形成开放件、延期开放件两大数据集,同时输出审核成果。一是形成报表,审核系统按全宗、年度等要素自动输出《各全宗各年度拟审核意见统计表》、《拟开放目录汇总表》、《档案开放审核单》等统计类报表;二是编制报告,专业人员根据审核数据分析情况,编撰内容全面、数据详实的《档案开放审核服务工作报告》;三是向社会公布,结合档案馆向社会公布要求,对已审核数据设置到期提醒,满25年自动启动对外公布。
( 二 )
AI辅助档案开放审核案例分析
1、传统审核模式工期估算
某档案馆十四五期间待审核档案(文书档案)共计50万件,馆内开放审核小组工作人员共计3人。按传统审核模式(即以人工为主,逐卷逐件逐页进行审核)完成审核任务,预估830个工作日。
传统模式工作情况表
※ 说明:移交单位会审、档案馆终审等工作流程不含其内。
2、采用AI技术实施成效
鉴于该档案馆审核人员少、工作任务重等现状,馆方决定采购第三方服务,通过“AI+人工”的人机协同模式进行开放审核。按照上述“九步工作法”,运用AI技术进行智能辅助审核,同时由专业人员进行验证后交由档案馆进行复审(或移交单位会审)。
“AI+人工”模式工作情况表
※ 说明:移交单位会审、档案馆终审等工作流程不含其内。
3、案例分析
上述实例,采用“AI+人工”审核模式开展档案开放审核,借助AI的能力,审核工作战线缩短,效率显著提升,人力投入减少。同时,通过专业人员的审核加持,避免了AI审核的误判情况,大幅度提升审核质量,杜绝档案开放的安全隐患。
全方位的人员结构:
规范化、标准化项目现场:
(模拟项目现场)
(三)
提升AI辅助档案开放审核能力的几点思考
尽管近年来AI技术突飞猛进,但AI在档案开放审核领域中其主要作用依然是辅助。如何实现AI的有效应用,提高AI辅助的准确性、有效性,是当下档案开放审核工作中热度最高的话题之一。结合AI技术在档案开放审核工作中的应用实践,现阶段在AI热潮下,如何做到冷思考与新出发?
一是持续夯实基础
丰富的档案资源是“走向开放”的前提,进一步做优做实做强档案资源基础。一方面要坚持以“内容为王”走向开放,做到“能开尽开”,让档案在开放中走进群众、走进社会,更好服务经济社会发展;另一方面,也要加强归档材料收集的齐全、完整,同时保障档案从数字化到数据化的质量。
二是筑牢安全防线
坚持技术发展和安全可控的双轮驱动,强调在确保信息安全的前提下开展AI技术的应用,构建安全可信环境下的AI赋能框架。
三是加强深度学习
以数据为中心,以深层次的网络堆叠为架构,提供数量量大、内容丰富、结构多样的档案资源,强化训练模型的神经网络泛化能力,进一步提升AI审核能力。
四是育强人才队伍
AI赋能之“根”依然在于人的智慧,需要进一步扩面培养档案开放审核专业技术人员,加强业务学习、技术培训、保密教育,培优育强人才队伍,不断提升档案开放审核的水平和效能。
更多AI赋能档案开放审核细节及相关疑问欢迎4月13日(星期六)来 -数字罗塞塔计划- 直播间交流探讨。
关注我们 - 数字罗塞塔计划 -