云原生时代数据治理的变革与创新-编程知识

随着数字化进程的深入，企业对数据的依赖日益加深，数据资源的重要性愈发凸显。如何管好、用好数据，做好数据治理工作，发挥数据资源价值，成为企业提质增效过程中的重要议题。

在本次直播中，我们介绍了数据治理体系、技术框架及云原生数据平台在数据治理领域的优势。以下内容根据直播文字整理成稿。

传统数据治理体系及框架

在数字化转型中，战略驱动是根本，数据治理是基础，数据智能是方向。

数据治理就是从组织、管理、技术的角度持续改变数据使用行为的过程，贯穿整个数据生命周期。数据治理的根本目标是确保数据安全，提升数据价值。

同时，数据治理更是一个体系，其关注于信息系统的执行层面，以整合信息科技部门与业务部门的知识和意见为目的，通过数据治理组织对企业的信息化建设进行全方位的监管，从而迭代数据资产价值，赋能业务发展，达成业务战略，保障数据安全，降低隐私泄露的风险。

数据治理体系涉及企业的组织、管理、技术等多个层面，和业务部门关系紧密。通常，企业的数据治理工作都是由业务部门牵头，IT部门辅助执行。

图1 数据治理体系架构图

如上图所示，数据治理体系分为三个层级，分别是数据治理对象、数据治理任务和数据治理支撑。

数据治理的对象围绕主题进行划分，不同企业的数据主题不尽相同，与企业自身组织和部门设置密切相关，这里不再展开描述。
数据治理支撑包括企业的组织架构、在数据治理过程中的角色、企业内部基于数据治理相关的制度与流程以及IT 技术架构与平台。
数据治理任务，主要包含主数据管理、数据标准管理、数据质量管理、数据资产管理、数据安全管理、数据生命周期等。其中，主数据管理、元数据管理和数据质量管理是重点所在。

主数据管理

主数据是指描述核心业务实体的数据，如客户、产品、员工、账户等，具有高业务价值的、可在跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。

主数据管理将从企业多个业务系统中整合最核心、最需要共享的数据（即主数据）集中进行清洗和丰富，并以服务的方式把主数据分发给企业范围内的操作型和分析型应用。

主数据管理的目的是为了保证在跨系统和跨平台使用数据的时候，主数据能够保持一致。

数据质量管理

数据质量管理体系包括数据质量的判断以及所有对数据质量起到保证提升作用的活动、流程，力求实现全方位数据质量管理。

其中，数据质量优化提升是面向存量数据，按业务系统或者主题分批对数据进行分析、清洗，提高既有数据质量的数据质量管理活动。

数据质量管理的管控，首先需要企业内部制订相关的规章制度，并将数据按照不同的主题域指定相应的归口部门，确保数据质量是的持续提升。

图2 数据质量问题归因溯源

通过上方的鱼骨图可以看出，数据质量问题产生的原因有很多，其中人员、流程、业务系统前段录入属于原生数据质量问题；业务系统后端数据库设计、数据抽取、数据加载等属于次生数据质量问题。

针对原生数据质量问题，可以通过提高录入的自动化和易用性等手段，降低前端输入时出错的机率。

对于次生数据质量问题，通过在数据流转过程中加入一些埋点校验，进行数据比对，避免数据出错。

元数据管理

元数据用来描述数据的数据，相当于书籍的目录，是数据的解释说明信息，使数据的使用者可以了解数据的特征、内容、作用，以及获取方式等信息，并对数据是否能满足使用需求做出适当的评价。

在数据治理体系中，元数据可分为业务元数据、技术元数据、操作元数据和管理元数据四种类型。

元数据管理分为采集、管理、分类、服务四个层面，涉及标准制订、补充维护、管理分类、血缘分析、查询统计等诸多环节。

对于大型企业，元数据的规模比较庞大，要实现元数据管理需要投入大量的人力和时间，工程周期往往以年为单位。

此外，企业数据治理还涉及数据标准、数据安全、数据生命周期等，这里不再展开赘述。

数据治理面临的难题

随着新技术的不断涌现和数据量的极速增长，传统数据治理体系在实施时面临着以下挑战：

元数据管理成本高：业务元数据的实施需要业务人员的介入与识别，每个数据平台都要录入，数据流转的操作元数据也需要进行录入，导致记录成本高。
数据质量难以保障：数据在平台间流转的过程中会产生次生数据质量问题，需要进行大量的埋点校验工作。
数据标准落标复杂：每个数据平台都要进行数据标准的检查，跨平台的数据标准一致性难以保障。
数据同步策略复杂：主数据平台必须向多个数据平台同步主数据，需要复杂的同步策略，否则可能面临主数据的版本不一致问题。
敏感数据难以集中治理：需要定期对每个数据平台的敏感数据进行识别，数据跨平台流转还需要加密解密，维护困难。
数据服务响应周期长：数据服务要经过多个数据平台进行加工和etl，拉长了数据服务的响应时间。

云原生数据平台下的数据治理

当前，云计算对企业IT架构产生了深刻影响和变革，云原生平台能够在很大程度减轻上述数据管理与治理负担，缩短响应周期，基于云原生平台的数据治理应运而生。

图3 云原生平台体系与数据治理

如上图所示，与传统数据体系相比，云原生数据平台体系具有以下特点：

一站式敏捷数据服务：通过一站式的数据门户，快速检索数据资产，敏捷开发新的数据服务与产品，快速发布上线，和用户互动迭代更新，滚动沉淀企业的数据资产价值。
云原生数据平台：采用存算分离架构，原生支持OneData，保证企业核心数据的一致性，降低数据治理的复杂度；根据业务形态，实现资源弹性伸缩、动态调度与高并发，满足各种业务场景的灵活要求。同时具备自愈能力，提高系统可用性。
云原生大数据支撑平台：为云原生化的数据平台提供稳定支撑，实现存算分离、弹性调度、更好的资源隔离等能力，同时也支持混合云等多种异构环境部署，保障业务的灵活性，帮助企业快速实现业务目标。

随着新技术的不断成熟，应用场景不断增加，业务模式不断复杂化，全域数据治理的理念日益受到企业的重视。全域数据涵盖了企业相关的内外部数据，与企业的业务和商业性质息息相关。

云原生数据平台的“存算分离”，实现了企业内的全域数据融合，整合了分散的数据平台，彻底消除了数据孤岛现象，并且可以集中进行数据安全管理，减少安全漏洞产生环节，同时也减少了次生数据质量问题；针对全域数据一站式地管理主、元数据、数据标准、数据架构与模型，大幅降低数据治理的复杂度；同时，云原生的数据资产服务也使业务变得更加敏捷，适应市场的瞬息万变，不断迭代数据资产，从而达成数字化转型。

目前，HashData作为国内领先的云原生数据平台，已在金融、电信、政务、能源、交通等众多领域实现大规模商用，帮助企业高效、便捷地开展全域数据治理工作。