数据库管理-第173期 OceanBase一体化Plus多模融合(20240422)

数据库管理173期 2024-04-22

  • 数据库管理-第173期 OceanBase一体化Plus多模融合(20240422)
    • 1 架构简化
    • 2 不止融合
      • 2.1 行列混存
      • 2.2 多维使用
      • 2.3 多模JOIN
    • 3 展望

数据库管理-第173期 OceanBase一体化Plus多模融合(20240422)

作者:胖头鱼的鱼缸(尹海文)
Oracle ACE Associate: Database(Oracle与MySQL)
国内某科技公司 DBA总监
10年数据库行业经验,现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家、年度墨力之星,ITPUB认证专家、专家百人团成员,OCM讲师,PolarDB开源社区技术顾问,OceanBase观察团成员
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号,非著名社恐(社交恐怖分子)
公众号:胖头鱼的鱼缸;CSDN:胖头鱼的鱼缸(尹海文);墨天轮:胖头鱼的鱼缸;ITPUB:yhw1809。
除授权转载并标明出处外,均为“非法”抄袭

本次《2024OceanBase开发者大会》,发布了OB4.3,在单机分布式一体化架构的基础上,大幅提升了AP能力,同时着重宣传了多模融合功能,那么多模融合到底能解决什么问题,带来什么展望。

1 架构简化

这里我调用一下我周五的PPT:
image.png
在单模多类型数据库的架构中,除去关系型数据库,可能还需要:

  • Redis:作为常用简单常用数据的缓存,加速相关信息读取性能,源数据一般来自于关系型数据库
  • MongoDB:用作非关系型JSON数据存放,有一定的分布式加速能力
  • ElasticSearch:作为搜索引擎用于较大规模近实时搜索查询,源数据一般来自于关系型数据库,虽为JSON存储但一般遵循关系型模式
  • ClickHouse:宽列/列式存储,用于联机分析处理,实现实时查询
  • Hadoop:汇聚并清洗来自于各处的数据,并进行大规模离线数据分析

在这种架构下,会有一些问题:

  • 每一种数据库需要独立的运维能力
  • 每一种数据库有单独的学习成本、应用规范
  • 获取结果往往需要应用层组合多类型数据库获取数据,代码复杂
  • 各数据库之间数据流转繁杂,大量依赖网络,而网络是现代IT架构最不稳定的因素之一
  • 同一份数据在不同数据库之间存在大量重复,不仅有存储浪费的现象,还有全局一致性校验的压力

image.png
那么多模数据库,至少单从数据模态整合到了一个数据库中能实现些什么:

  • 仅需维护一个数据库,DBA/Ops省下来的时间可以出去晒太阳
  • 应用仅需配置到一个数据库,Dev不用管一堆配置串
  • 各类型、模态数据在一个数据库内流转,交互更加便捷,敏捷老板很开心啊
  • 数据冗余少,给业务省点钱

但融合数据库仅仅只带来了数据架构层的简化么?

2 不止融合

2.1 行列混存

随着业务场景和数据库技术的发展,数据库需要实现OTLP的基础能力,OLAP要求从Offline不断向Online
一份数据,通过行存方式保持OLTP性能,通过列存方式实现在线数据分析能力,二者组合,让一套数据库实现实时事务交易与分析HTAP能力。OB 3.x时代其实说了很多的HTAP场景,有了行存、行列混存。我个人觉得那时候OB说的行列混存,其实是工程上的概念和实现。其实用户需要一个更广义的、用户视角的“行列混存”,一个数据库里技能行存、又能行混存、还能列存,不同业务场景用不同的列存选择。这次在4.3发布,我终于看到了,在这个版本中行存列存甚至可以在表级来制定。
image.png

2.2 多维使用

在一个多模数据库中,不仅可以使用原单一模态专用数据库熟悉的方式对对应模态的数据库进行使用,减少学习成本与代码改动;也可以使用创新的针对多模数据的SQL语句方式,对不同模态的数据进行使用。
image.png

2.3 多模JOIN

多模融合数据库带来的还有不同模态的数据不再存放在各自的数据孤岛之中,在一个数据库内可以直接将多模态数据JOIN在一起,省去了不同数据库之间的数据交互,减轻了网络负载,统一了多模数据库使用方式。
image.png

最终,OceanBase希望通过分布式(包含单机分布式一体化)+多模融合数据库,实现强劲的事实分析数据库能力。
image.png

3 展望

在本次《2024OceanBase开发者大会》上,OB也公布了2024的路线图:
image.png
AP领域有很多优秀的数据库,过去十几年里用户都玩的很转。这块OB的定位和思考也很清楚,不做数仓只做数据库,不做超大数据体量只做PB级,解决实时分析场景的问题。话说如果实时分析能解决,离线还会难吗?OceanBase必将越来越好。最后总结下,业内多模是小卷,AP是真卷,欢迎OB加入卷王队列,卷出用户喜闻乐见的新高度!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/640878.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

3D Gaussian Splatting介绍

目录 一、概述二、基础介绍1. 多维高斯分布2. 将3D 高斯投影到2D像素平面3. 球谐函数4. Splatting and α \alpha α blending 三、整体流程四、 伪代码五、评价指标六、实验结果七、reference 一、概述 3D Gaussian Splatting和NeRF一样,主要用于新视图合成。 特…

eCharts 折线图 一段是实线,一段是虚线的实现效果

在lineStyle里写了不生效的话,可以尝试数据拼接 option {xAxis: {type: category,data: [Mon, Tue, Wed, Thu, Fri, Sat, Sun]},yAxis: {type: value},series: [{data: [150, 230, 224,218 ,,,],type: line},{data: [,,, 218, 135, 147, 260],type: line,lineStyl…

Valentina Studio Pro for Mac:强大的数据库管理工具

Valentina Studio Pro for Mac是一款功能全面、操作高效的数据库管理工具,专为Mac用户设计,旨在帮助用户轻松管理各种类型的数据库。 Valentina Studio Pro for Mac v13.10激活版下载 该软件拥有直观的用户界面,使得数据库管理变得简单直观。…

ChromaDB教程

使用 Chroma DB,管理文本文档、将文本嵌入以及进行相似度搜索。 随着大型语言模型 (LLM) 及其应用的兴起,我们看到向量数据库越来越受欢迎。这是因为使用 LLM 需要一种与传统机器学习模型不同的方法。 LLM 的核心支持技术之一是…

CSS-vminvmax单位

vmin 和 vmax 单位 vmin 是相对于视口宽度和高度中较小值进行计算,它的值为视口宽度和高度中的较小值的百分比。 例如,如果视口宽度为 800px,高度为 1000px,那么 1vmin 等于 8px(800px 的 1%)。 vmax 是…

半年来每月必用,隐私协议Railgun因何得到Vitalik的青睐?

还没有哪个隐私协议能让 Vitalik 每个月都转入以太坊交互,但 Railgun 做到了。在过去 6 个月中,Vitalik 基本每个月都会使用 ETH 与 Railgun 交互,随后被 Vitalik 推特确认,并为 Railgun 打了个小广告。市场反应迅速,其…

书生·浦语大模型实战训练营--第二期第七节--OpenCompass大模型评测实战--homework

一、配置环境 安装下面的顺序以及自己的文件路径配置环境 conda create -n opencompass python3.10 -y 安装下面的包 absl-py accelerate>0.19.0 boto3 cn2an cpm_kernels datasets>2.12.0 einops0.5.0 evaluate>0.3.0 fairscale func_timeout fuzzywuzzy immutab…

mininet+odl安装

安装环境 ubuntu-18.04.2-desktop-amd64 Java version: 1.8.0_362 Apache Maven 3.6.0 opendaylight: distribution-karaf-0.6.0-Carbon(csdn中应该是已有资源,不让上传) opendaylight的官网下载链接一直打开失败,我使用的是别人的Carbon版本。 在安…

在Spring Boot应用中实现阿里云短信功能的整合

1.程序员必备程序网站 天梦星服务平台 (tmxkj.top)https://tmxkj.top/#/ 2.导入坐标 <dependency><groupId>com.aliyun</groupId><artifactId>aliyun-java-sdk-core</artifactId><version>4.5.0</version></dependency><…

国内开通chatgpt plus会员方法

ChatGPT镜像 今天在知乎看到一个问题&#xff1a;“平民不参与内测的话没有账号还有机会使用ChatGPT吗&#xff1f;” 从去年GPT大火到现在&#xff0c;关于GPT的消息铺天盖地&#xff0c;真要有心想要去用&#xff0c;途径很多&#xff0c;别的不说&#xff0c;国内GPT的镜像…

软件测试之【合理的利用GPT来辅助软件测试一】

读者大大们好呀&#xff01;&#xff01;!☀️☀️☀️ &#x1f525; 欢迎来到我的博客 &#x1f440;期待大大的关注哦❗️❗️❗️ &#x1f680;欢迎收看我的主页文章➡️寻至善的主页 文章目录 前言GPT的原理及技巧GPT辅助接口自动化测试 前言 在编程基础栏目中&#xff…

大语言模型(LLM)漏洞爆发,AI模型无一幸免

本文概述了人工智能初创公司Anthropic于2024年04月03日发表的一篇针对人工智能安全的论文&#xff0c;该公司在本论文中宣布的一种新的“越狱”技术&#xff0c;名为Many-shot Jailbreaking&#xff08;多轮越狱&#xff09;。文章详细描述了目前大语言模型&#xff08;LLM&…