一. 前言
在Presto 之GENERAL POOL & RESERVED POOL_王飞活的博客-CSDN博客 的文章中,我们介绍了在Presto中,内存分成了保留区和通用区两个内存池区进行管理。本文则主要介绍Presto是是如何实现内存池管理的。
二. Presto内存池大小控制管理
Presto的内存管理主要是在MemoryPool类中实现的,当一个Operator需要申请内存使用时需要经过如下步骤:
-
在Presto的Operator调度进程中,首先调用该Operator的isBlock接口检测该Operator是否处于阻塞状态。
-
Operator在isBlock中向MemoryPool申请内存,调用MemoryPool的reserve接口。
-
在MemoryPool的reserve接口中,如果当前剩余的内存大于申请的内存,则返回NOT_BLOCKED,否则返回一个回调钩子ListenableFuture。核心代码如下所示:
-
当有人释放内存的时候, 如果释放后剩余的内存值满足步骤3申请的内存值,Presto会将3的回调钩子设置为null,将Future设置为Done状态,核心代码如下所示:
-
Presto的Operator调度进程检测到检测到Future变成Not Block状态后,开始调度改Operator,否则将该Operator一直处于阻塞状态,直到有别的查询在上述4中释放了内存后,满足该Operator的内存使用需求,将Future设为Done状态后,再将该Operator重新调度运行。
上述的流程实现了查询内存使用不会超出内存池的大小控制范围。
二. Presto内存申请
Presto的内存池只控制了内存的使用量,但是并没有统一的内存申请控制。其实在Presto,最耗费内存的Page和Hash表等,都是以数组的形式存储的,也就是说直接向JVM申请内存,不经过内存池的控制。
三. 堆外内存
Presto不会直接使用堆外内存进行数据存储,但是Presto使用的一些三方库,比如一些压缩解压缩等三方库等,会存在堆外内存的使用情况。