在现今数据驱动的时代,可视化已逐渐成为数据分析的主要途径,可视化大屏的广泛使用便应运而生。很多公司及政务机构,常利用大屏的手段展现其实力或演示业务,可视化的效果能让观者更快速的理解结果并直观的看到数据展现。因此,可视化大屏的优势显而易见。
DAP数据分析平台是数通的核心产品之一,主要是满足在企业进行数据分析的过程中,进行数据集中化管控、决策分析等需要。通过DAP数据分析平台可以有效支撑企业构建数据仓库,实现企业业务数据的清洗和汇聚,同时基于DAP平台的展现配置,可以根据业务主题构建相应的展现大屏,从而实现数据的可视化展现,为企业领导层的数据把控和运营决策分析提供支持,本篇文档主要介绍在项目中如何配置数据的可视化展现。
1整体介绍
DAP数据分析平台就是采集各个业务系统的数据,进行数据筛选(表和字段、数据)、质量校验等步骤建立数仓,保证数据标准性、完整性、准确性,从而实现企业业务数据的统一,通过数据可视化展现、数据服务来展现DAP数据分析平台的价值。
1.1产品体系
首先介绍一下数通的产品体系:
数通的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。
上图所示通过DAP数据分析平台+MDM基础数据平台+ESB企业服务总线组成数据中台方案,本次介绍的DAP数据分析平台就是此方案的核心,基础数据进行主数据治理,DAP数据分析平台进行业务数据治理,通过ESB进行数据的集成,帮助整合企业数据,统一管理,提升企业的数据价值。
1.2功能架构
DAP数据分析平台将企业的数据进行治理分析,并且通过图形组件呈现出来,充分将企业的数据利用起来,发挥数据的最大价值,为企业决策者提供直观的展示效果,从而获得更大的商业价值。在DAP数据分析平台中能预置丰富的组件,饼状图、条形图、散点图、折线图等满足企业的真实所需。它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现,能够有效的帮助企业清晰地分析优劣势,从而调整企业策略,加快企业的信息化发展与整体竞争力。
数据分析平台功能有:
1.数据来源(应用系统定义、数据源头配置、ODS数据定义)。
2.数仓模型(业务主题、指标管理、维度配置、事实配置、模型配置)。
3.数据调度(规则校验、调度资源、调度任务、日志管理)。
4.分析模型(数据集配置、立方体配置、业务类报表、多维度分析)。
5.算法模型(算法原型、算法开发、算法调用、算法日志)。
6.展现配置(导航管理、组件管理、展现主题、装饰管理)。
7.数据服务(接收服务、查询服务、算法数据、统计服务、指标服务、业务服务)。
8.统计分析(数据地图、质量分析、影响分析、血缘分析)。
9.系统管理(资源配置、组织机构、角色管理、人员管理、功能管理、系统日志)。
1.3数据展现
DAP数据分析平台通过数据治理后确保数据的唯一性以及准确性后,通过对指标的设计构建,创建分析模型,通过配置后,对数据进行可视化的展现,使数据更具有价值,为企业领导层的数据把控和运营决策分析提供支持,下面就对在项目中如何配置数据可视化展现做详细说明。
2数据治理
在项目中进行数据可视化展现的第一个步骤是数据治理,因为项目中的业务数据比较冗余,首先需要将数据根据业务进行划分,并且通过数据治理三步流程将数据从业务系统采集到ODS中间库,再将ODS中间库的数据清洗转换到数据仓库,最后将数据仓库中的数据进行加工汇总,从而确保数据的唯一性、准确性以及提升数据的利用价值,接下来对数据治理的三步流程进行说明。
2.1数据采集
数据治理的第一步是进行数据采集,需要将业务系统中的数据采集到ODS中间库,这一步的意义在于对业务系统中的表进行选取,因为在实际项目中,业务系统中的数据往往都多而杂乱,所以需要将一些可利用的数据表进行选取,提升数据的价值,表选取好之后,结合数通的ESB企业服务总线创建消息流程,将数据进行同步,在这一步骤中,ESB企业服务总线就充当ETL工具的作用。
2.2清洗转换
ODS中间库创建好之后,需要将ODS中间库的数据清洗转换到数据仓库中,数据仓库中的数据分为维表与事实表,维表数据主要是一些枚举类的基础数据,基础数据可以经过数通的MDM主数据管理平台的质量管理,来确保数据的完整性一致性,事实表数据主要是业务类的数据,清洗转换还有一个重要的作用是对表中有价值的字段进行选取,最终表创建好之后,结合ESB进行数据的同步。
2.3加工汇总
加工汇总是对数仓中的数据进行加工汇总的过程,汇总分为两种方式:横向汇总与纵向汇总,横向汇总是针对一行中多个字段通过配置表达式的方式对字段进行汇总,所以称为横向汇总,纵向汇总是针对一列中某个字段配置聚合类别进行汇总,所以称为纵向汇总。
3数据分析
数仓在构建好之后,需要基于数仓数据构建数仓模型,基于数仓模型构建分析模型,在分析模型中,主要是对指标数据的分析及选取,因为数仓表中字段并不是所有都具有展现意义,接下来就对数据分析部分进行说明。
3.1数据集配置
数据集通过选取数仓模型进行创建,通过选取数仓模型中的字段,实现数据集的配置,通过不同主题的划分、不同字段的选取,同一种数据能达到不同的展现效果。
3.2立方体配置
在实际项目中,有些数据需要进行计算,比如对人员总数的统计,性别占比统计等,这些数据的计算在数据集中不能实现,所以可以基于数据集创建立方体,通过选取数据集中的字段,配置立方体的维度与度量字段,可以实现数据的计算效果。
3.3报表类配置
除了以上两种数据的分析配置,DAP数据分析平台还支持报表类数据的配置,可以基于数据集配置业务类报表,基于立方体配置多维度报表,这可以使分析后的数据进行报表类的展现,并且支持导出为Ecxel,方便使用人员对数据的查看与调整。
业务类报表:
多维度报表:
通过以上的配置将数据进行治理分析,结合数据集、立方体、报表等进行数据可视化展现的配置。
4展现配置
数据可视化配置的完成可以使数据非常直观地展现在企业眼前。但需要注意页面布局的整体性,递增行以及合理性,还有对数据的配置的合理性。
4.1页面布局
在配置大屏的页面布局时要有一些重点,首先要通过适当的排版布局,将重点展示数据放在中心部位,以达到用户获取数据的效率性,其次页面布局要注重平衡性,组件在各个空间位置能够处于平衡,提升页面美感,最后要注重页面的简洁性,不可配置太复杂冗余的数据,通过配置简洁的页面布局及数据来降低观看时的疲劳感。
基于以上部分设计与布局,可能会取得更好的效果。
本次的三个大屏布局如下图:
(1)财务大屏:
(2)销售大屏:
(3)运营大屏:
4.2效果预览
进入样例下的所有配置好的主题,点击预览可以看到配置好大屏的数据展现,如下图:
(1)财务大屏:
(2)销售大屏:
(3)运营大屏:
每个大屏在中心位置都会配置地图组件或者总览数据的组件,可以让人在预览的时候很清晰明了地查看整体数据。
4.3注意事项
页面布局要符合视觉效果,如下图:
在配置组件数据时要考虑数据的冗余性以及复杂性,来达到页面的简洁性以及美观性。
5心得总结
无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定前进方向或者推出某种新型产品,都需要数据分析来将数量庞大且凌乱的数据整合汇总,上述的大屏配置就是DAP产品的一种可视化展现方式,它可以将整合出的数据进行一个可视化展现来达到快速获取数据的作用。
5.1产品理解
数据的可视化展现可以用一些简短的图形就能体现那些复杂信息。让决策者可以轻松地获取查看各种不同的数据源。来分析过去某时间段企业的发展趋势,规划未来的发展方向。5.2重要事项
5.2重要事项
在企业中对数据可视化展现的配置分为两大重点:
1.首先第一个重点是数据的质量,这是重中之重,因为数据的可视化展现是为了帮助决策者分析过去的发展趋势,规划未来的发展方向,所以要确保数据的准确性以及一致性。
2.第二重点在配置时对页面布局,组件排序的设计,通过合理的配置,首先可以使页面更为美观,其次可以将重点数据进行重点展示,使人员进行查看时可以清晰直观的查看重点数据。
5.3说在最后
如今需要展示和分析的数据越来越庞杂,已经无法用二维数据报表直观的体现,这时数据可视化大屏系统的优势已无可比拟,它可以迅速收集吸收企业自身的大数据,用简单易懂的可视化方式表达出来,成倍提供工作效率,极大地提升生产力。
DAP数据平台是数通数据中台的一部分,它可以提升企业的业务数据价值,从数据来源上梳理企业的业务数据,把需要可以提升企业业务价值的相关表放到中间库中,通过数据治理整合汇总这些数据,把这些数据变成完整的可观察的数据从而把数据展现出来。