大数据质量管制规范示例

大数据质量管制规范示例

  • 一、前提概要
  • 二、相关概念
  • 三、管理原则
  • 四、治理委员
  • 五、应用管理
  • 六、查验方式
  • 七、考核比率
  • 八、扣分标准
  • 九、责任划分
  • 十、追责范围
  • 十一、其它条例
  • 十二、总结

一、前提概要

在当今大数据信息时代,大数据平台(大数据平台开发规范示例)和大数据仓库(大数据仓库开发规范示例)的开发规范已成为组织和企业管理决策的重要基础。

随着数据量的不断增长和数据应用的广泛应用,确保数据质量成为了一个至关重要的问题。因此,有必要制定数据质量规范化管理制度来规范数据质量的管理和保证。

在这里插入图片描述

二、相关概念

  • 应用系统:是按照信息一体化的要求,用于处理我司经营管理的应用软件系统。
  • 数据:是指公司实施信息化管理过程中产生的所有电子数据。
  • 数据质量:是指数据的及时性、完整性以及准确性。

三、管理原则

数据质量管理应遵循以下原则:

  • 统一规范原则,各类应用系统采集和处理的数据,应符合各自应用系统所要求的数据标准。
  • 层级考核原则,各个业务信息系统对各自的数据质量管理工作进行严格的目标管理考核。

同时,数据质量应遵循真实、完整、规范、及时的原则:

  • 真实:应严格依据经营管理原始数据所记载的内容准确录入相关数据,如实反映,不得随意修改、增减。
  • 完整:要按照各类应用系统的有关要求进行数据采集,保证数据齐全,避免数据的缺失。
  • 规范:数据采集应按照应用软件系统的相关标准进行。
  • 及时:数据要在规定的时间内采集,确保应用系统数据及时反映经营管理实际。

四、治理委员

数据治理委员会是公司数据质量管理的牵头部门,主要负责:

  • 制定公司的数据质量管理的相关规章制度。
  • 对各应用系统管理部门的履职情况进行考核、监督。
  • 根据需要,参与对公司各应用系统数据质量管理的检查监督。
  • 对违反数据质量管理规定,造成数据错误、失真、延误、漏填等违规行为进行问责。
  • 向高管层报告我司数据质量管理执行情况。

五、应用管理

应用系统的管理部门,负责管理各自的应用系统,是本应用系统数据质量的主责任人,主要负责:

  • 贯彻落实公司制定的数据质量管理的相关规章制度。
  • 制定本应用系统录入、维护、审核的基本标准和规范性要求,并适时开展检查监督,保障数据管理符合规范性要求。
  • 制定本应用的数据质量监控指标体系,定期对本级数据质量评估分析,及时解决数据质量管理中出现的问题。
  • 提交本应用系统数据质量管理报告。

六、查验方式

数据检查采取应用系统使用部门自查和应用系统管理部门检查的方式。数据检查的方法有:

  • 在业务软件使用过程中对数据库中已有数据进行检查。
  • 用数据质量检查工具进行检查。
  • 抽取源表与ODS层数据进行对比。
  • 其它数据检查的方法。

检查的内容:

  • 数据的处理是否及时、正确、全面。
  • 数据的抽取是否规范、及时。

七、考核比率

考核的比率指标是:

  • 信息采集率:已经采集进入应用系统的信息与应该采集进入应用系统信息的比率。
  • 信息采集准确率:录入应用系统的正确信息与录入的所有信息的比率。
  • 信息传输及时率:规定时期内传输的信息与检查期限内所有传输信息的比率。
  • 信息处理率:考核期内处理的符合规定的信息与考核期内处理的所有信息的比率。

八、扣分标准

数量指标是指分级列出问题数据的数量,根据问题的严重程度,确定扣分标准,进行扣分。根据数据的重要程度具体分为四级:

  • 只影响数据本身的完整性而不影响其他数据。
  • 只影响本工作环节质量。
  • 不仅影响本工作环节质量,而且影响后面工作环节数据处理质量。
  • 数据质量错误造后面工作无法处理或无法工作。

九、责任划分

数据质量责任划分:

  • 数据采集的责任部门即为数据质量的责任部门。
  • 从数据库后台记录中确认的数据录入人员是数据质量的直接责任人。
  • 将自己的用户名、密码提供给他人使用,或因保管不善导致他人盗用、冒用用户名、密码的,用户名所有者是数据质量责任人。

十、追责范围

数据质量责任追究范围:

  • 因数据质量问题导致统计数据不能生成或生成错误的。
  • 因数据质量问题导致其他部门工作不能正常开展的。
  • 因数据质量问题影响经营决策行为的及时性、正确性的。
  • 因数据质量问题损害客户合法权益的。
  • 因数据质量问题造成财产、声誉损失的。

十一、其它条例

  • 数据维护是按照应用系统的有关规定对错误的数据进行数据修改的行为。
  • 数据维护由各应用系统管理部门按照各自应用系统的有要求,明确数据维护的权限和职责,制定数据维护的程序。凡是采集进入应用系统的数据,不得擅自修改、删除。
  • 数据维护前应做好相应数据和系统的备份工作。能够通过系统模块解决的,经过审批后按照各类应用系统的操作规范进行维护。需要通过技术手段解决的,由责任人提出申请,由相关业务部门和技术部门审核确认,经主管行领导审批同意后,方可进行数据维护。
  • 数据维护工作应严格备案,科技信息部对各应用系统管理部门报送的每项数据维护的时间、内容、维护原因、责任人等记录进行备案,涉及的书面材料必须登记存档。
  • 数据维护人员在进行数据维护时,必须认真负责,避免在数据维护过程中产生新的错误数据。
  • 数据检查是按照有关应用系统数据管理规定对数据及时性、完整性以及准确性进行的数据质量检查的行为。
  • 应用系统使用部门在业务软件使用过程中发现错误数据,必须及时告知相应的数据抽取的责任人或部门进行维护。

十二、总结

数据质量规范化管理制度可以帮助组织识别和解决数据质量问题。通过明确数据质量的标准和指标,并建立相应的数据质量监控机制,可以及时发现数据质量异常,并采取相应的纠正措施,以确保数据质量符合要求。

总而言之,梳理数据质量规范化管理制度是为了确保数据质量,从而提高决策的科学性、客户满意度、业务流程优化以及法规合规要求的满足。这对于组织和企业的长期发展具有重要意义。

规范示例仅作为参考,实施过程中需要根据组织架构、业务要求和应用场景进行调整适配。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/417279.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JVM 如何判断一个对象可以被回收

Hi, 我是 浮生。 今天分享一道一线互联网公司必问的面试题。 ”JVM 如何判断一个对象可以被回收“ 关于这个问题,来看看高手的回答。 一、问题解析 在 JVM 里面,要判断一个对象是否可以被回收,最重要的是判断这个对象是否还在被…

CyclicBarrier带你玩转并发编程

文章目录 1. 技术背景1.1 并发编程简介 2. 解决的问题2.1 并发协同与同步问题2.2 CountDownLatch与CyclicBarrier的区别 3. 使用场景3.1 多线程任务协同3.2 任务分解与合并3.3 数据分析与计算3.4 游戏开发中的同步3.5 生产者-消费者问题 4. 技术点讲解4.1 CyclicBarrier概述4.2…

项目管理工具--禅道

一.禅道的安装 1.1.安装 二.禅道的使用 ​编辑 三.用产品经理的方式登录 3.1添加产品 3.2提需求 3.3添加产品需求 3.4创建项目 ​编辑 四.项目经理方式登录 ​编辑 4.1关联需求 ​编辑 4.2分解任务 五.测试方式登录 5.1测试建立用例 ​编辑 5.2需要换成项…

vue2 使用pdf.js 实现pdf预览,并可复制文本

需求:pdf预览,并且可以选中pdf的内容进行复制。 在ruoyi的vue前端项目中用到,参考了网上不少文章,因为大部分没给具体的pdf.js版本,导致运行过程中报各种api 错误,经过尝试以下版本可用&#xff0c…

文件夹重命名:一次性解决文件夹名称混乱,中文翻译成英文

在我们的日常生活和工作中,文件夹的名称是我们组织和查找文件的重要方式。然而,随着时间的推移,文件夹名称可能会变得混乱不堪,甚至包含中英文混合的情况,这给我们的文件管理带来了极大的不便。那么,如何一…

【RabbitMQ】快速入门及基本使用

一、引言 1、、消息队列 Ⅰ、什么是消息队列? 消息队列是一种进程间通信或同一进程的不同线程间的通信方式,软件的贮列用来处理一系列的输入,通常是来自用户。消息队列提供了异步的通信协议,每一个贮列中的纪录包含详细说明的数据…

java httpclient Post

一、Maven引用httpclient <dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.3</version> </dependency> 二、直接上代码 private void PostData(){CloseableHt…

文献分享四:(基础)Pyroelectric drift of integrated-optical LiNbO3 modulators

文献来源——S. M. Kostritskii, Yu. N. Korkishko, V. A. Fedorov & A. V. Yatsenko (2021) Pyroelectric drift of integrated-optical LiNbO3 modulators, Ferroelectrics, 574:1, 170-178, DOI: 10.1080/00150193.2021.1888062 本文分析了我们之所以需要偏置电路的原因…

spring data mongo 在事务中,无法自动创建collection

spring data mongo 在事务中,无法自动创建collection org.springframework.dao.DataIntegrityViolationException: Write operation error on server xxx:30001. Write error: WriteError{code=263, message=Cannot create namespace xxx.xxxin multi-document transaction.…

Python 中的多线程(01/4)

一、说明 本文介绍了 Python 编程语言中多线程的基础知识。就像多处理一样&#xff0c;多线程是实现多任务处理的一种方式。在多线程中&#xff0c;使用线程的概念。让我们首先了解 计算机体系结构中线程的概念。 二、线程一般性概念 2.1 什么是 Python 中的进程&#xff1f;…

[AI]文心一言出圈的同时,NLP处理下的ChatGPT-4.5最新资讯

前言 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家&#xff1a;https://www.captainbed.cn/z ChatGPT体验地址 文章目录 前言4.5key价格泄漏ChatGPT4.0使用地址ChatGPT正确打开方式最新功能语音助手存档…

python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-帖子详情页实现

锋哥原创的SpringbootLayui python222网站实战&#xff1a; python222网站实战课程视频教程&#xff08;SpringBootPython爬虫实战&#xff09; ( 火爆连载更新中... )_哔哩哔哩_bilibilipython222网站实战课程视频教程&#xff08;SpringBootPython爬虫实战&#xff09; ( 火…