7月5日,以“开源生态筑基础,数字经济铸未来”为主题的2024全球数字经济大会在北京成功举办,来自全国各地的专家学者、企业代表、数据库行业从业人士及众多开源开发者,共聚一堂,共同探讨开源数据库技术的发展现状与未来趋势,助力构建开放、共赢的数据库生态体系,为开源生态的繁荣发展添砖加瓦。
在会上,白鲸开源CEO 郭炜于「开放原子开源数据库生态论坛」上发分享了题为 《大模型时代下DataOps驱动企业数智化升级》 的演讲,并在「开源与闭源,在行业应用中的发展潜能」的圆桌对话中分享了自己的开源心得体会与经验。
他表示,数据虽然丰富但高质量、互通的数据却稀缺,这一状况在大模型时代愈发突出。全球范围内,数据库和大模型进入井喷时代,DataOps可以解决百模x万库互联问题。他探讨了DataOps的全球趋势,并以SeaTunnel和DolphinSchedule为例,详细介绍了中国的开源DataOps项目如何在全球范围内快速增长,分析DataOps如何驱动企业数智化升级。最后,他结合中信建投的案例,分享了当前数智化升级中存在的挑战,以及通过实时DataOps项目所获得的收益。
DataOps全球趋势
6月21日,OpenAI收购搜索和数据库分析初创公司Rockset,完成交易后,后者估值数亿美元,成为OpenAI最大的收购之一。我们从中可以看到,随着数据消费和AI数据消费的增长,企业面临着数据供给的挑战。这世界不缺乏数据,而是缺乏高质量、相互打通的数据。
在多云环境下,数据源和引擎的复杂性日益增加,这要求企业采用更为简单、高效、准确的数据供给方式。当数据库和大模型进入井喷时代,DataOps应运而生,旨在解决数据集成和数据质量的问题。
中国的开源DataOps项目
中国在开源DataOps项目方面取得了显著成就。以Apache SeaTunnel为例,这是一个新一代开源实时多源数据集成工具,支持上百种源数据库和目标数据库的数据同步与集成。SeaTunnel的性能在多个方面超越了现有解决方案,如批量数据全量、增量集成以及实时数据集成等。
Apache DolphinScheduler是一个开源大数据工作流调度平台,可以说是“大数据的操作系统”,它解决了大数据工作流调度的痛点,如多个任务单元、存在时间顺序、存在依赖关系等问题,满足了企业级场景面临的执行频率高、数据量任务量大,以及对云原生的要求。
Apache SeaTunnel和Apache DolphinScheduler已广泛应用于金融、互联网、通信、电商等行业,全球拥有6000+企业用户。
金融行业DataOps驱动企业数智化升级案例
金融行业是DataOps应用的典型领域。例如,某证券公司通过使用白鲸开源DataOps平台WhaleStudio,实现了数据一体化编辑、数据集成、数据管控等功能,大幅提高了数据研发效率。此外,通过DataOps平台,该公司在反洗钱、实时盈亏计算、监管报送等核心应用中实现了自动化和实时性,有效提升了业务流程的效率和准确性。
根据全球最佳实践发布WhaleStudio结合了开源版Apache DolphinScheduler的所有功能,并增加了独有的商业功能+信创适配/创新,帮助企业解决内部多数据源、多数据系统复杂的数据集成,持续开发、持续部署、数据捕获、数据打通等一些列问题,在金融安全和合规性上有充分的保证,已经被多个头部券商、保险、银行、海外互联网客户使用。
正如白鲸开源的Slogan——我们不生产/储存数据,我们是大模型时代下的中石化,DataOps作为企业数智化升级的重要驱动力,正帮助企业应对数据供给的挑战,提高数据处理的效率和准确性,通过开源项目和商业解决方案的结合,WhaleStudio为企业提供了一条通往智能化、自动化数据处理的清晰路径。