基于图数据库构建知识图谱平台应用实践

摘要

中信证券基于分布式图数据库StellarDB,替代国外开源图数据库产品,打造全新的企业级知识图谱平台,应用于同一客户集团画像、科创板关联发现、风险事件报告、全球企业关联图谱、产业链图谱、投研图谱、反洗钱与稽核图谱、元数据图谱等应用场景。

问题

过去,中信证券基于Neo4j社区版构建各类图数据库应用,但社区版存在不支持多实例需求、计算资源限制及不满足高可用、缺乏统一管理需求等问题。

行动

• 2021年为了满足企业级应用,中信证券基于星环科技分布式图数据库StellarDB和知识图谱平台SophonKG,打造了全新的企业级知识图谱平台,知识图谱平台的图存储技术为自研KV存储,存储设计按照属性图模型设计,满足TB级存储需求;2023年5月,中信证券完成知识图谱平台的扩容,并基于StellarDB 5.0进行架构升级;

• 基于知识图谱平台,中信证券构建了同一客户集团画像、科创板关联发现、风险事件报告、全球企业关联图谱、产业链图谱、投研图谱、反洗钱与稽核图谱、元数据图谱等十余个应用。

结果

• 中信证券知识图谱平台实现了一站式运维管理、调度管理和权限管理等,满足高可用要求要求,性能提升数倍,在金控报送方面节省时间成本约30% 。

分享专家:陈辉华,中信证券高级副总裁作者:沙丘社区分析师团队

案例企业

中信证券股份有限公司成立于1995年10月,2003年在上海证券交易所挂牌上市交易,2011年在香港联合交易所挂牌上市交易,是中国第一家A+H股上市的证券公司,率属于中国中信集团有限公司。中信证券目前拥有7家主要一级控股子公司,分支机构遍布全球13个国家,中国境内分支机构和网点400余家。中信证券规模优势显著,是国内首家资产规模突破万亿元的证券公司。主要财务指标连续十余年保持行业第一,各项业务保持市场领先地位,多年来获得亚洲货币、英国金融时报、福布斯、沪深证券交易所等境内外机构颁发的各类奖项。项目背景

2018年,中信证券基于Neo4j社区版构建各类图数据库应用,但社区版存在不支持多实例需求、计算资源限制及不满足高可用、缺乏统一管理需求等问题。

2021年,随着应用激增,为了满足企业级的建设需要,中信证券基于星环科技分布式图数据库StellarDB和知识图谱平台SophonKG,打造了全新的企业级知识图谱平台,知识图谱平台的图存储技术为自研KV存储,存储设计按照属性图模型设计,满足TB级存储需求。在图数据库服务的顶层,还提供了丰富的接口,如Java、Python、RESTful API等,方便自定义开发,重构了企业图谱及集团客户画像、风险事件报告、科创版关联发现以及联机分析等十余个应用。2023年6月,中信证券完成了知识图谱平台的扩容,并基于StellarDB 5.0进行了架构升级。解决方案为搭建图谱独特的HTAP架构,实现统一图存储服务和多套计算引擎资源物理隔离,满足图计算和图查询任务的不同资源需要;在集群中部署1套图存储服务和3套Quark计算引擎服务,多个Quark之间可以共享元信息。构建一种基于图结构数据的端到端全流程图机器学习框架,其底层与图数据库紧密对接,以实现高效的数据读写和查询过滤等预处理工作的下推。解决方案

基于星环科技分布式图数据库StellarDB和知识图谱平台SophonKG,中信证券知识图谱平台实现方案如下:星环科技分布式图数据库StellarDB提供大数据处理能力和通用组件能力,支持平台内一站式运维管理;知识图谱平台为星环科技知识图谱平台SophonKG,提供图谱构建、图谱融合、图谱查询、可视化以及图谱计算、图谱分享等能力。

知识图谱平台业务功能特点如下:第一,多模查询和存储。使用统一的Quark计算引擎,SQL结合图语言Cypher的多模查询语言,可以实现多模查询;支持hive、文本文件、图模型等多模态存储。第二,多场景应用。知识图谱平台支撑10余个下游应用;SophonKG提供自助分析平台,支持业务自助探索图谱;提供图机器学习能力,应用于ETF推荐和场外配资等场景。第三,高性能。星环科技在计算引擎侧引入local+cluster混合计算模式策略,自如应对实时和离线分析;原生分布式图数据库,拥有处理百亿级图数据的能力;搭建HTAP架构,AP算法任务和TP查询任务分离。第四,高可用。采用多节点HA方式,提供高可用服务;使用Raft协议,提供秒级副本切换服务;通过Kubenetes实现故障自动恢复;根据DAG执行计划,重试丢失/出错任务。

知识图谱平台的应用场景如下:(1)同一客户集团画像中信证券采用Louvain社区发现算法,挖掘集团簇,最后在各自集团簇内企业,沿关系向上获取归属集团,结合风控提出的个性化需求,例如银行不再上穿、个人集团认定等,数据库提供丰富的Cypher复杂逻辑的处理能力。

(2)科创板关联发现战略投资者持有科创版股票不允许做融券卖出,中信证券通过最短路径分析(不限定方向不定长查询,去掉任职关系),查看两者的利益关联关系。

(3)风险事件报告基于统计维度(持仓、衍生品标的、客户)和业务条线(自有资金业务、资管业务、经纪业务、投行业务、托管业务),中信证券框定11种角色。通过舆情平台监控风险事件,当发生风险事件时,通过客户谱系找到成员企业及其持仓,自动通过邮件输出报告发送给业务方及领导进行实时监控。

(4)全球企业关联图谱将境外企业输出与境内企业融合,核心节点是企业、员工、关系人、产品、营收、行业、金融产品,共包括19种关系、3亿实体、4亿关系。

(5)产业链图谱将第三方产业链数据加载到图谱中,为公司客户经理提供产业链服务,直观展示已开发、已服务、待开发的客户,帮助客户经理挖掘商机。

(6)投研图谱从部委的政策源出发,通过NLP技术提取每条政策的核心观点和行业板块等,同时结合新闻舆情源的信息,对二者进行匹配和召回,计算政策影响因子值,通过产业链传播算法得到传播系数,结合图传播算法找到个股因子,回测效果相对收益达到25%。

(7)反洗钱与稽核图谱通过对连通子图的挖掘,合规人员可以从高风险人员出发,找出潜在可疑团伙。

(8)元数据图谱多跳(8+)的数据血缘neo4j社区版查询不出结果,基于StellarDB强大的多跳计算能力和改进的expand算法,实现15跳内的数据血缘(溯源和影响性分析)。

价值与效果

中信证券知识图谱平台实现了一站式运维管理、调度管理和权限管理等,满足高可用要求要求,性能也提升了数倍,在金控报送方面节省时间成本约30%,目前成果在公司内广泛应用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/503487.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PXE网络启动实战(第一篇 启动WinPE)

免责声明:文中有一些图片来源自网络,如有版权请通知我删除,谢谢! 目录 一、无盘站 二、PXE启动 三、PXE启动原理 四、启动WinPE 1、服务器准备 2、客户端 3、TFTP服务 4、WinPE选择 5、具体操作: 预告 一、无盘站 网络启动最早用于无盘系统,那时的电脑只配备软…

举行活动会议发布会如何邀请媒体?工作流程分享

传媒如春雨,润物细无声,大家好,我是51媒体网胡老师。 举行活动会议发布会邀请媒体的工作需要有条理的准备和执行。以下是一般的工作流程: 制定计划: (1) 确定活动目标、主题和重点信息。 &a…

青少年CTF2024 #Round1 wp web

web EasyMD5 MD5碰撞,使用工具fastcoll生成内容不同但md5值相同的两个pdf文件上传即可获得flag; ./fastcoll_v1.0.0.5.exe -p 1.pdf -o 2.pdf 3.pdf # -p指定任意源文件,-o指定生成两个内容不同但md5值相同的目标文件 工具下载&#x…

JavaWeb HTTP 请求头、请求体、响应头、响应体、响应状态码

J2EE(Java 2 Platform Enterprise Edition)是指“Java 2企业版”,B/S模式开发Web应用就是J2EE最核心的功能。 Web是全球广域网,也称为万维网(www),能够通过浏览器访问的网站。 在日常的生活中,经常会使用…

LabVIEW流量控制系统

LabVIEW流量控制系统 为响应水下航行体操纵舵翼环量控制技术的试验研究需求,通过LabVIEW开发了一套小量程流量控制系统。该系统能够满足特定流量控制范围及精度要求,展现了其在实验研究中的经济性、可靠性和实用性,具有良好的推广价值。 项…

HS6621Cx 一款低功耗蓝牙SoC芯片 应用于键盘、鼠标和遥控器消费类产品

HS6621Cx是一款功耗优化的真正片上系统 (SOC)解决方案,适用于低功耗蓝牙和专有2.4GHz应用。它集成了高性能、低功耗射频收发器,具有蓝牙基带和丰富的外设IO扩展。HS6621Cx还集成了电源管理功能,可提供高效的电源管理。它面向2.4GHz蓝牙低功耗…

VSCode通过SSH连接Docker环境进行开发

文章目录 VSCode 插件Docker 镜像构建镜像部署环境 VSCode 连接本地Docker容器VSCode SSH连接Docker容器VSCode 打开容器内目录文件 VSCode 插件 Remote - SSH Docker 镜像 https://hub.docker.com/_/golang # Golang 镜像 docker pull golang:1.22构建镜像 Dockerfile F…

AGI概念与实现

AGI AGI(Artificial General Intelligence),中文名为“通用人工智能”或“强人工智能”,是指通过机器学习和数据分析等技术,使计算机具有类似于人类的认知和学习能力的技术. 多模态的大模型 (Multimodal…

什么是数据同步利器DataX,如何使用?

什么是 Datax? DataX 是阿里云 DataWorks数据集成 的开源版本,使用Java 语言编写,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、Ma…

店匠科技颁布 Shoplazza Awards:品牌出海迎历史性机遇,赋能品牌腾飞

在全球化的今天,中国品牌在全球市场的地位日益显著,品牌意识的提升推动了企业出海战略的全新转型。以全球电商市场发展为例,根据 ecommerceBD 数据,2023 年全球零售电子商务销售额预计 6.3 万亿美元,到 2026 年&#x…

旧的Spring Security OAuth已停止维护,全面拥抱新解决方案Spring SAS

Spring Authorization Server 替换 Shiro 指引 背景 Spring 团队正式宣布 Spring Security OAuth 停止维护,该项目将不会再进行任何的迭代 目前 Spring 生态中的 OAuth2 授权服务器是 Spring Authorization Server 已经可以正式生产使用作为 SpringBoot 3.0 的最新…

AVT Prosilica GC Vision Cameras 相机视觉说明使用安装。具体详情内容可参看PDF目录内容。

AVT Prosilica GC Vision Cameras 相机视觉说明使用安装。具体详情内容可参看PDF目录内容。