postgresql|数据库|提升查询性能的物化视图解析

前言:

我们一般认为数字的世界是一个虚拟的世界,OK,但我们其实有些需求是和现实世界一模一样的,比如,数据库尤其是关系型数据库,希望在使用的数据库能够更快(查询速度),更高(性能上限更高),更强(并发性能,写能力这些属性),正如奥林匹克的体育精神:更快,更高,更强,但是很可惜,愿望就是愿望了,要想实现这样的愿望需要更多的技术,想法。

那么,毫无疑问的,物化视图是一个专门针对查询性能的关系型数据库内的一个对象。

等等,视图?物化视图?

是的,就是物化视图,我只能告诉大家一个残酷的事实(结论先给了,不服气的接着看),物化视图虽然可以对数据库的查询性能起到一个比较大的提升,但物化视图有很大的局限性,也可以简单的理解为物化视图是一个双刃剑,用好了可以使得数据库系统查询速度飞快,用不好可能会造成系统崩溃这样的惨烈后果。

下面,我将就物化视图的优缺点,适用场景,如何使用物化视图做一个简单的介绍。

一,

物化视图是什么?

###注:基表,也就是基础表,查询结果不是凭空出现的,自然是从一个或者N个表内查询得出的结果,一个或者N个表也就省略称之为基表了

物化视图是介于表和视图之间的一个关系型数据库的对象,可以将它想象成一个查询基表产生的结果集,但这个结果集可以很复杂,可以是多表联查的结果集,可以是一个简单的单表查询结果集。

和普通视图相比,更为关键的是,物化视图是有对应的存放于$PGDATA目录下的物理文件,也就是它不是一个虚幻的虚拟的东西了,而是一个真真切切存在的可操作的对象了,这也是为什么叫物化视图的原因了。

那么,很多同学就会有疑问了:普通视图也是一个基于基表的查询而产生的结果集,为毛要用什么物化视图?有毛病吗?

OK,普通视图是无法添加索引的,而我们都知道索引是可以加快查询速度的,也就是基于合适的索引,我们是可以加快查询效率的,因此,一个设计良好的物化视图的查询速度会远远超过一个设计良好的普通视图

和表相比,物化视图仅仅是一个查询结果集,那自然是没有insert,update这些功能了,也就是说,物化视图不可改变其内的数据。

当然,在navicat里,这个物化视图叫实体化视图,目前只需要明白一点,叫什么都无所吊谓的

二,

物化视图的优缺点和适用场景

OK,现在来总结一下物化视图的优缺点

优点:

  1. 提高性能:通过预先计算并存储结果,可以避免在每次查询时都需要执行复杂的联接操作或聚合运算,从而大大提高查询速度。
  2. 减少磁盘空间:由于物化视图只存储部分数据,而不必存储所有基础表的所有数据,因此可以减少磁盘空间的需求。
  3. 支持快速数据刷新:大多数数据库系统都支持物化视图的快速刷新,可以在较短的时间内更新物化视图中的数据,以便及时反映底层数据的变化。
  4. 物化视图可以添加索引,而索引可以有效的提升查询效率

缺点:

  1. 需要额外的存储空间:物化视图需要占用额外的磁盘空间来存储其结果集。
  2. 更新延迟:由于物化视图通常需要定期刷新,因此在底层数据发生变化后,可能需要一段时间才能反映到物化视图中。因此,如果是经常更新的基表,而对物化视图的准确性有较高的要求的情况下,更新需求会是一个不得不考虑的问题,so,建议基表更新太多的基表不建议使用物化视图
  3. 维护复杂性:由于物化视图需要定期刷新,而且在某些情况下还需要执行复杂的计算,因此需要更多的硬件资源提供支持。
  4. 不适合高并发环境:在高并发环境下,如果多个用户同时访问物化视图,可能会出现锁竞争问题,影响性能。主要原因是在刷新或者说同步物化视图这样的操作的时候,会有锁的问题。

由于这些优缺点,因此,可以得出物化视图并不是万能的,很有可能是一个双刃剑,物化视图需要在一个适用的环境下才可以使用。
OK,物化视图的适用场景一般为:

  1. 基表更新不是非常频繁,这个可以有一些时间上的量化,例如,更新条目在分钟级附近。
  2. 相对物化视图来说,并发程度不是太高,多用户同时查询不会影响到物化视图的更新正常完成。
  3. 数据库的硬件条件比较高,可以承担物化视图的频繁更新,主要是CPU和内存能够满足物化视图的刷新任务
  4. 对外提供数据,例如A向B提供数据,A这边按规做好物化视图,并确定合适的刷新物化视图规则,就可以以合规数据形式提供给B了。
  5. 某些复杂查询,应用的频率比较高。

三,

物化视图的创建

CREATE MATERIALIZED view 物化视图名称 as 查询语句 with DATA

说明:with后接data或者no data,no data表示不填充此物化视图,仅仅生成数据结构,默认是with data

下面就以pgbench的一个表pgbench_accounts为例来说明物化视图的创建和管理

创建物化视图

CREATE MATERIALIZED view vvv as SELECT * FROM pgbench_accounts;

查看物化视图: 

OK,此时如果基表pgbench_accounts 改变了的话,物化视图vvv并不会跟随改变,因为规定必须是刷新(同步)pgbench_accounts这个表

修改基本的aid等于48的 abalance值为123456789,修改后查询确认是修改了

UPDATE pgbench_accounts set abalance='123456789' WHERE aid='48' 
SELECT * from pgbench_accounts where aid='48'

 此时查询物化视图vvv,可以看到aid 48 并没有改变:

手动刷新该物化视图:

refresh MATERIALIZED VIEW  vvv with data;

还一种刷新是不影响现有物化视图使用的,也就是不加锁的并行刷新,如果该物化视图比较大的时候:

REFRESH MATERIALIZED VIEW CONCURRENTLY vvv

 但此时这样刷新会报错:

REFRESH MATERIALIZED VIEW CONCURRENTLY vvv
> ERROR:  cannot refresh materialized view "public.vvv" concurrently
HINT:  Create a unique index with no WHERE clause on one or more columns of the materialized view.

此时需要给物化视图添加一个唯一索引,在本例中就给aid添加吧,注意,也是并行添加索引  CONCURRENTLY,:

CREATE UNIQUE INDEX  CONCURRENTLY vvvv ON vvv(aid)

 再次查询可以看到物化视图与基表同步了:

 

 四,

物化视图的自动刷新

物化视图的自动更新需要安装一些特殊的插件例如Apache iceberg(冰山)或者是自己手动创建触发器函数+触发器这样的形式,本例中是触发器函数+触发器

触发器-函数的创建(触发器 触发后要执行的函数,这里自然是刷新物化视图啦):

CREATE OR REPLACE FUNCTION update_my_view()
RETURNS TRIGGER AS $$
DECLAREBEGIN-- Update the materialized view here.REFRESH MATERIALIZED VIEW  CONCURRENTLY vvv;RETURN NULL;END;
$$ LANGUAGE plpgsql;

触发器的创建(此触发器是基于基表的哦):

CREATE TRIGGER update_my_view_trigger
AFTER INSERT OR UPDATE OR DELETE ON pgbench_accounts
FOR EACH STATEMENT
EXECUTE PROCEDURE update_my_view();

OK,现在可以验证了,首先,基表更新,aid 48 更新为888888,删除aid 47:

UPDATE pgbench_accounts set abalance='888888' WHERE aid='48' 
DELETE from pgbench_accounts where aid='47'

这个时候查询物化视图,可以看到我们并没有执行刷新命令就可以看到物化视图的改变了:

pgbench=# SELECT * from vvv where aid='47';aid | bid | abalance | filler 
-----+-----+----------+--------
(0 rows)pgbench=# SELECT * from vvv where aid='48';aid | bid | abalance |                                        filler                                        
-----+-----+----------+--------------------------------------------------------------------------------------48 |   1 |   888888 |                                                                                     
(1 row)

OK,自动刷新物化视图是成功的

五,

物化视图的修改

更改物化视图基本和更改表一样的语法,例如,更改物化视图的名称,这里需要注意,如果有触发器,那么,触发器函数也应该同时更改,否则触发器会报错的哦:

ALTER MATERIALIZED VIEW IF EXISTS  vvvRENAME TO vvvvvv
UPDATE pgbench_accounts set abalance='8888882' WHERE aid='48'
> ERROR:  relation "vvv" does not exist
CONTEXT:  SQL statement "REFRESH MATERIALIZED VIEW  CONCURRENTLY vvv"
PL/pgSQL function update_my_view() line 5 at SQL statement

其它的修改就不一一举例了:

ALTER MATERIALIZED VIEW [ IF EXISTS ] nameaction [, ... ]
ALTER MATERIALIZED VIEW nameDEPENDS ON EXTENSION extension_name
ALTER MATERIALIZED VIEW [ IF EXISTS ] nameRENAME [ COLUMN ] column_name TO new_column_name
ALTER MATERIALIZED VIEW [ IF EXISTS ] nameSET SCHEMA new_schema
ALTER MATERIALIZED VIEW ALL IN TABLESPACE name[ OWNED BY role_name [, ... ] ]SET TABLESPACE new_tablespace [ NOWAIT ]


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/169499.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【4】Gradle-快速入门使用【Gradle多模块项目详解】

目录 【4】Gradle-快速入门使用【Gradle多模块项目详解】创建多项目构建添加子项目命名建议 项目依赖项项目路径不同模块的build.gradle配置 子项目之间共享构建逻辑公约插件跨项目配置buildSrc开发公约插件 调整多模块项目配置修改项目树的元素 了解Gralde配置时间和执行时间并…

【见缝插针】射击类游戏-微信小程序项目开发流程详解

还记得小时候玩过的见缝插针游戏吗,比一比看谁插得针比较多,可有趣了,当然了,通过它可以训练自己的手速反应,以及射击水平,把握时机,得分越高就越有成就感,相信小朋友们会喜欢它的&a…

npm install 报错 chromedriver 安装失败的解决办法

npm install chromedriver --chromedriver_cdnurlhttp://cdn.npm.taobao.org/dist/chromedriver

使用MybatisPlus时出现的java.lang.NullPointerException异常~

错误描述如下所示: 错误原因:Junit的导包错误 单元测试的包有如下所示两个 我们应该根据springboot的版本进行选择, 在Spring Boot 2.2.X以后使用import org.junit.jupiter.api.Test Junit5 在Spring Boot 2.2.x之前使用import org.junit.T…

无需公网IP,贝锐花生壳内网穿透远程访问NAS

群晖DSM 7.0及以上版本 1.1 安装运行花生壳套件 (1)通过浏览器输入群晖NAS的内网地址,登录进去后,点击【套件中心】,搜索【花生壳】,并点击【安装套件】; (2) 勾选我接…

[mysql]索引优化-2

目录 一、分页查询优化1.根据自增且连续的主键排序的分页查询2.根据非主键字段排序的分页查询 二、Join关联查询优化1.嵌套循环连接 Nested-Loop Join(NLJ) 算法2.基于块的嵌套循环连接 Block Nested-Loop Join(BNL)算法 三、count(*)查询优化1.查询mysql自己维护的总行数2.sho…

【Go入门】struct类型

【Go入门】struct类型 struct Go语言中,也和C或者其他语言一样,我们可以声明新的类型,作为其它类型的属性或字段的容器。例如,我们可以创建一个自定义类型person代表一个人的实体。这个实体拥有属性:姓名和年龄。这样…

【Python】KDtree的调用

前言 查询点集中与目标点最近的k个点 from scipy.spatial import cKDTree import numpy as npdata np.array([[1,2],[1,3],[4,5]]) # 生成 100 个三维数据 tree cKDTree(data) # 创建 K-D Tree result tree.query(np.array([5, 5]), k2) # 查询与 [0.5, 0.5, 0.5] 最近的三…

xsschallenge通关攻略详解

xsschallenge通过攻略 文章目录 xsschallenge通过攻略第一关第二关第三关第四关第五关第六关第七关第八关第九关第十关第十一关第十二关第十三关 简述 xsschallenge挑战攻略 ps: 终极测试代码 <sCr<ScRiPt>IPT>OonN"\/(hrHRefEF)</sCr</ScRiPt>IPT&g…

科技改变农业:合成数据农业中的应用

介绍 农业在我们的生活中起着至关重要的作用&#xff0c;它为我们提供了生存的食物。如今&#xff0c;它遇到了各种困难&#xff0c;例如气候变化的影响、缺乏工人以及全球流行病造成的中断。这些困难影响了耕作用水和土地的供应&#xff0c;而这些水和土地正变得越来越稀缺。…

skynet学习笔记03— 服务

01、API newservice(name, ...)&#xff1a; 阻塞的形势启动一个名为 name 的新服务&#xff0c;待start函数执行完后会返回这个服务的地址。uniqueservice(name, ...)&#xff1a;针对于当前节点&#xff0c;启动一个唯一服务&#xff08;相当于单例&#xff09;&#xff0c;…

springboot全局拦截sql异常

起因:非法用户可通过特定的输入(如输入内容超长)等操作,使后台逻辑发生错误,从而使后台sql语句暴露至前台,进而为sql攻击提供条件 处理流程:经查找com.mysql.cj.jdbc.exceptions的父类为SQLException,在全局异常处理类中增加如下配置,经测试不起作用 ExceptionHandler(SQLExce…