Postgresql源码(128)深入分析JIT中的函数内联llvm_inline

相关
《Postgresql源码(127)投影ExecProject的表达式执行分析》
《LLVM的ThinLTO编译优化技术在Postgresql中的应用》
《LLVM(5)ORC实例分析》

1 JIT优化效果

create table t1(i int primary key, j int, k int);
insert into t1 select i, i % 10, i % 100 from generate_series(1,10000000) t(i);set jit_optimize_above_cost to -1;
set jit_above_cost to 0;
set jit_inline_above_cost to 0;
set jit_tuple_deforming to off;
-- jit_inline_above_cost depend on jit_expressions
set jit_expressions to on;explain analyze select abs(k),abs(k),abs(k),abs(k),abs(k),exp(k),exp(k),exp(k),exp(k),exp(k) from t1;

关JIT:9.3秒

                                                    QUERY PLAN                                                     
-------------------------------------------------------------------------------------------------------------------Seq Scan on t1  (cost=0.00..529063.31 rows=10000175 width=60) (actual time=0.039..8863.584 rows=10000000 loops=1)Planning Time: 0.081 msExecution Time: 9343.666 ms

开JIT:5.9秒

                                                     QUERY PLAN                                                     
--------------------------------------------------------------------------------------------------------------------Seq Scan on t1  (cost=0.00..529063.31 rows=10000175 width=60) (actual time=12.100..5460.438 rows=10000000 loops=1)Planning Time: 0.081 msJIT:Functions: 1Options: Inlining true, Optimization false, Expressions true, Deforming falseTiming: Generation 0.389 ms, Inlining 5.567 ms, Optimization 1.188 ms, Emission 5.301 ms, Total 12.445 msExecution Time: 5921.711 ms
(7 rows)

2 PERF STAT观测区别

JIT执行5次:29秒

              4.32 msec task-clock                       #    0.000 CPUs utilized             13      context-switches                 #    3.008 K/sec                     2      cpu-migrations                   #  462.821 /sec                      282      page-faults                      #   65.258 K/sec                     10,763,253      cycles                           #    2.491 GHz                         (31.94%)9,573,998      instructions                     #    0.89  insn per cycle              (55.08%)1,833,970      branches                         #  424.400 M/sec                       (75.93%)54,410      branch-misses                    #    2.97% of all branches             (66.02%)3,067,449      L1-dcache-loads                  #  709.840 M/sec                       (24.07%)69,671      L1-dcache-load-misses            #    2.27% of all L1-dcache accesses   (33.98%)54,139      LLC-loads                        #   12.528 M/sec                       (17.49%)22,209      LLC-load-misses                  #   41.02% of all L1-icache accesses   (17.49%)29.740983598 seconds time elapsed0.001851000 seconds user0.002641000 seconds sys

NO JIT执行5次:46秒

 Performance counter stats for '/data/pg16/pghome/bin/psql -p 1101 -h127.0.0.1 -U pg16 postgres -f nj.sql':3.92 msec task-clock                       #    0.000 CPUs utilized             13      context-switches                 #    3.319 K/sec                     2      cpu-migrations                   #  510.542 /sec                      282      page-faults                      #   71.986 K/sec                     9,896,281      cycles                           #    2.526 GHz                         (35.98%)8,902,749      instructions                     #    0.90  insn per cycle              (61.50%)1,719,940      branches                         #  439.050 M/sec                       (79.78%)51,247      branch-misses                    #    2.98% of all branches             (70.28%)1,976,835      L1-dcache-loads                  #  504.628 M/sec                       (20.22%)75,055      L1-dcache-load-misses            #    3.80% of all L1-dcache accesses   (29.72%)52,070      LLC-loads                        #   13.292 M/sec                       (17.30%)29,130      LLC-load-misses                  #   55.94% of all L1-icache accesses   (17.30%)46.686925078 seconds time elapsed0.002121000 seconds user0.001970000 seconds sys

对比
在这里插入图片描述
指标含义

事件no jitjit分析
task-clock3.924.32执行程序的CPU时间
context-switches1313上下文切换次数,相同
cpu-migrations22CPU迁移次数,相同
page-faults282282内存缺页,相同
cycles9,896,28110,763,253CPU花费的周期
instructions8,902,749(0.90 insn per cycle)9,573,998(0.89 insn per cycle这段时间内完成的CPU指令,每个指令都包含多个步骤,每个步骤由CPU的一个叫做功能单元组件处理,每个步骤至少花费一个cycle周期。insn per cycle表示一个CPU周期内完成几个指令,越高越好,这里没有太大差距。
branches1,719,9401,833,970分支预测的次数
branch-misses51,24754,410分支预测失败的次数
L1-dcache-loads1,976,8353,067,449一级数据缓存读取次数,差距非常大
L1-dcache-load-misses75,05569,671一级数据缓存读取失败次数
LLC-loads52,07054,139last level cache读取次数
LLC-load-misses29,13022,209last level cache读取失败次数,最后一级缓存未命中
总执行时间46.68692507829.740983598

差距的原因比较多,内联和优化会有较大的影响:

  • 内存访问模式的改变:LLVM优化可能改变了数据的访问模式,使得数据访问更加局部化。这可以提高缓存的命中率,因为数据更有可能在缓存中被找到。
  • 循环优化:LLVM可能进行了循环展开(loop unrolling)或循环融合(loop fusion)等优化,这些优化可以减少循环开销和提高迭代中数据的重用。
  • 数据预取:LLVM可能插入了数据预取指令,这些指令可以在数据被访问之前就将其加载到缓存中,从而减少缓存未命中。
  • 数据对齐和填充:LLVM可能改变了数据结构的对齐方式,或者添加了填充,以减少缓存行冲突和提高缓存利用率。
  • 死码消除和代码简化:LLVM的优化可能移除了不必要的代码和变量,这样可以减少对内存的需求,从而减少L1缓存的加载操作。
  • 内联和函数优化:通过函数内联,LLVM可以减少函数调用的开销,并可能进一步优化局部变量的使用,这样也可能减少对L1缓存的访问。
  • 变量生命周期的管理:LLVM优化可能改变了变量的生命周期,使得变量在使用时更集中,这样可以提高缓存的命中率。

3 llvm_inline执行流程分析

上面给的用例函数的编译执行是在投影列中的(无JIT投影列执行可以参考这篇《Postgresql源码(127)投影ExecProject的表达式执行分析》)。

LLVM的执行计划,投影列的计算会进入LLVM堆栈:
在这里插入图片描述

static Datum
ExecRunCompiledExpr(ExprState *state, ExprContext *econtext, bool *isNull)
{CompiledExprState *cstate = state->evalfunc_private;ExprStateEvalFunc func;CheckExprStillValid(state, econtext);llvm_enter_fatal_on_oom();func = (ExprStateEvalFunc) llvm_get_function(cstate->context,cstate->funcname);llvm_leave_fatal_on_oom();Assert(func);/* remove indirection via this function for future calls */state->evalfunc = func;return func(state, econtext, isNull);
}

llvm的总入口是llvm_get_function,llvm_get_function→llvm_compile_module→llvm_inline。

下面重点分析inline的过程:

static void
llvm_compile_module(LLVMJitContext *context)
{...if (context->base.flags & PGJIT_INLINE){...llvm_inline(context->module);...}...

3.1 llvm_inline入参

llvm_inline(context->module);

(gdb) p	*context
$2 = {base = {flags = 13, resowner = 0x144d320, instr = {created_functions = 1, generation_counter = {ticks = 315193}, deform_counter = {ticks = 0}, inlining_counter = {ticks = 0},optimization_counter = {ticks = 0}, emission_counter = {ticks = 0}}}, module_generation = 5, llvm_context = 0x0, module = 0x157cf80, compiled = false, counter = 1, handles = 0x0}

module的含义:《LLVM(5)ORC实例分析》
在这里插入图片描述

3.2 module在哪里初始化?

llvm_mutable_module创建一个名称为pg的空module:
在这里插入图片描述

LLVMModuleRef
llvm_mutable_module(LLVMJitContext *context)
{llvm_assert_in_fatal_section();/** If there's no in-progress module, create a new one.*/if (!context->module){context->compiled = false;context->module_generation = llvm_generation++;context->module = LLVMModuleCreateWithNameInContext("pg", llvm_context);LLVMSetTarget(context->module, llvm_triple);LLVMSetDataLayout(context->module, llvm_layout);}return context->module;
}

然后再llvm_compile_expr中构造表达式计算函数,加到module里面:
在这里插入图片描述

注意这里通过LLVMAddFunction会把表达式计算用到的函数都加进去(只加用到的)。

本例中:

explain analyze select abs(k),abs(k),abs(k),abs(k),abs(k),exp(k),exp(k),exp(k),exp(k),exp(k) from t1;

llvm_compile_expr函数中LLVMAddFunctionLLVMAddFunction位置
evalexpr_0_0llvm_compile_expr
slot_getsomeattrs_intllvm_compile_expr case EEOP_SCAN_FETCHSOME
int4absllvm_compile_expr case EEOP_FUNCEXPR_STRICT
llvm.lifetime.end.p0i8llvm_compile_expr case EEOP_FUNCEXPR_STRICT
i4todllvm_compile_expr case EEOP_FUNCEXPR_STRICT
dexpllvm_compile_expr case EEOP_FUNCEXPR_STRICT

只有上面5个函数被加到module了,所以后面inline只需要考虑这后四个个函数就好了,第一个是表达式计算入口。

3.3 llvm_inline

void
llvm_inline(LLVMModuleRef M)
{LLVMContextRef lc = LLVMGetModuleContext(M);// ? 下面有解释llvm::Module *mod = llvm::unwrap(M);
  • llvm::unwrap 是一个辅助函数,用于将 C 语言风格的接口转换为 C++ 风格的接口。M是一个来自 LLVM C API 的类型(LLVMModuleRef),这是一个指向 LLVM 模块的指针,但它被封装为一个不透明的指针类型以便在 C 环境中使用。llvm::unwrap 函数将这个不透明的指针转换为一个指向 llvm::Module 的指针,这样就可以在 C++ 代码中使用 LLVM 的 C++ API 来操作这个模块了。
  • (llvm::module 是 LLVM 中的一个类,它代表了一个完整的 LLVM IR模块,这个模块可以包含函数、全局变量、符号等。在 LLVM 的 C++ API 中可以直接使用 llvm::Module 类型的对象)
	std::unique_ptr<ImportMapTy> globalsToInline = llvm_build_inline_plan(lc, mod);if (!globalsToInline)return;llvm_execute_inline_plan(mod, globalsToInline.get());
}

llvm_inline→llvm_build_inline_plan

llvm_build_inline_plan函数返回一个ImportMapTy类型,

static std::unique_ptr<ImportMapTy>
llvm_build_inline_plan(LLVMContextRef lc, llvm::Module *mod)
{std::unique_ptr<ImportMapTy> globalsToInline(new ImportMapTy());FunctionInlineStates functionStates;InlineWorkList worklist;InlineSearchPath defaultSearchPath;
  • 注意这里的searchpath是什么,怎么来的请看这篇: 《LLVM的ThinLTO编译优化技术在Postgresql中的应用》
	add_module_to_inline_search_path(defaultSearchPath, "$libdir/postgres");...for (const llvm::Function &funcDecl : mod->functions()){InlineWorkListItem item = {};FunctionInlineState inlineState = {};
  • 只ADD了还没BUILD所以有的函数只有定义,例如evalexpr_0_0llvm.lifetime.end.p0i8
  • 其他函数会正常加入worklist,例如int4absdexp
		if (!funcDecl.isDeclaration())continue;...item.symbolName = funcDecl.getName();item.searchpath = defaultSearchPath;worklist.push_back(item);inlineState.costLimit = inline_initial_cost;inlineState.processed = false;inlineState.inlined = false;inlineState.allowReconsidering = false;functionStates[funcDecl.getName()] = inlineState;}
  • 本案例中会有四个函数加入worklist:slot_getsomeattrs_int、int4abs、i4tod、dexp
	while (!worklist.empty()){InlineWorkListItem item = worklist.pop_back_val();llvm::StringRef symbolName = item.symbolName;char *cmodname;char *cfuncname;FunctionInlineState &inlineState = functionStates[symbolName];llvm::GlobalValue::GUID funcGUID;llvm_split_symbol_name(symbolName.data(), &cmodname, &cfuncname);funcGUID = llvm::GlobalValue::getGUID(cfuncname);for (const auto &gvs : summaries_for_guid(item.searchpath, funcGUID)){
  • 从searchpath也就是postgresql.index.bc里面搜索funcGUID,找到modPath。
  • 例如modPath=postgres/utils/adt/float.bc
			const llvm::FunctionSummary *fs;llvm::StringRef modPath = gvs->modulePath();llvm::Module *defMod;llvm::Function *funcDef;fs = llvm::cast<llvm::FunctionSummary>(gvs);if ((int) fs->instCount() > inlineState.costLimit){ilog(DEBUG1, "ineligibile to import %s due to early threshold: %u vs %u",symbolName.data(), fs->instCount(), inlineState.costLimit);inlineState.allowReconsidering = true;continue;}
  • modPath是函数所在的bc文件路径。
  • 在load_module_cached中调用load_module,调用LLVMCreateMemoryBufferWithContentsOfFile、LLVMGetBitcodeModuleInContext2拿到module。
			defMod = load_module_cached(lc, modPath);if (defMod->materializeMetadata())elog(FATAL, "failed to materialize metadata");funcDef = defMod->getFunction(cfuncname);
  • 到这里,通过thinlto生成的index文件的指引,找到函数所在的bc文件,最后拿到了func的bitcode。
			...llvm::StringSet<> importVars;llvm::SmallPtrSet<const llvm::Function *, 8> visitedFunctions;int running_instcount = 0;
  • 拿到了函数的bitcode后确认是否能inline?
  • 能否inline是一系列规则、成本决定的,具体分析在这篇:《Postgresql中JIT函数能否inline的依据function_inlinable》
    在这里插入图片描述

在这里插入图片描述

			if (function_inlinable(*funcDef,inlineState.costLimit,functionStates,worklist,item.searchpath,visitedFunctions,running_instcount,importVars)){
  • 整体指令数不能超过150个,超过就不在inline了,Inline太多会造成代码膨胀。
				if (running_instcount > inlineState.costLimit){ilog(DEBUG1, "skipping inlining of %s due to late threshold %d vs %d",symbolName.data(), running_instcount, inlineState.costLimit);inlineState.allowReconsidering = true;continue;}ilog(DEBUG1, "inline top function %s total_instcount: %d, partial: %d",symbolName.data(), running_instcount, fs->instCount());
  • 这里把当前函数,例如dexp放到数组中。
  • function_inlinable中没放吗?因为function_inlinable只把dexp调用到的函数放进去了。
  • 把全部需要inline的函数名、全局变量名记录到modGlobalsToInline中。
				importVars.insert(symbolName);{llvm::StringSet<> &modGlobalsToInline = (*globalsToInline)[modPath];for (auto& importVar : importVars)modGlobalsToInline.insert(importVar.first());}
  • 标记已经Inline
				inlineState.inlined = true;break;}else{ilog(DEBUG1, "had to skip inlining %s",symbolName.data());}}
  • 更新FunctionInlineState。
  • 注意:
    • functionStates数组存放了所有inline的函数的信息。
    • globalsToInline是map结构{modPath, StringSet},根据"postgres/utils/adt/float.bc"找到StringSet,在StringSet中保存了dexp、dexp函数调用到的其他函数、dexp和调用到函数所有使用到的全局变量。
		inlineState.processed = true;}return globalsToInline;
}

3.4 llvm_inline→llvm_execute_inline_plan

遍历上述结果集中的函数,配置AvailableExternallyLinkage标记。

static void
llvm_execute_inline_plan(llvm::Module *mod, ImportMapTy *globalsToInline)
{...for (const auto& toInline : *globalsToInline){const llvm::StringRef& modPath = toInline.first();const llvm::StringSet<>& modGlobalsToInline = toInline.second;std::unique_ptr<llvm::Module> importMod(std::move((*module_cache)[modPath]));module_cache->erase(modPath);for (auto &glob: modGlobalsToInline){llvm::StringRef SymbolName = glob.first();llvm::GlobalValue *valueToImport = importMod->getNamedValue(funcname);if (llvm::isa<llvm::Function>(valueToImport)){llvm::Function *F = llvm::dyn_cast<llvm::Function>(valueToImport);typedef llvm::GlobalValue::LinkageTypes LinkageTypes;...if (valueToImport->hasExternalLinkage()){valueToImport->setLinkage(LinkageTypes::AvailableExternallyLinkage);}}}}
}
  • 在LLVM中,有几种编译连接类型,默认会使用ExternalLinkage,表示函数在不同的编译单元之间是可见的,可以被其他单元引用。
  • 如果主动配置为AvailableExternallyLinkage,直观的理解是 把函数转换成一个全局可用的函数,定义只编译一次, 其他模块不会重复编译当前函数。

GlobalValue.h

class GlobalValue : public Constant {
public:/// An enumeration for the kinds of linkage for global values.enum LinkageTypes {ExternalLinkage = 0,///< Externally visible functionAvailableExternallyLinkage, ///< Available for inspection, not emission.LinkOnceAnyLinkage, ///< Keep one copy of function when linking (inline)LinkOnceODRLinkage, ///< Same, but only replaced by something equivalent.WeakAnyLinkage,     ///< Keep one copy of named function when linking (weak)WeakODRLinkage,     ///< Same, but only replaced by something equivalent.AppendingLinkage,   ///< Special purpose, only applies to global arraysInternalLinkage,    ///< Rename collisions when linking (static functions).PrivateLinkage,     ///< Like Internal, but omit from symbol table.ExternalWeakLinkage,///< ExternalWeak linkage description.CommonLinkage       ///< Tentative definitions.};

在这里插入图片描述

当函数被标记为AvailableExternallyLinkage时,LLVM优化器有可能会内联这些函数。但不是一定会发生,内联决策是llvm内联启发式算法做出的,会考虑很多因素:函数的大小、复杂性、调用频率、调用上下文等等。如果llvm决定内联一个函数,它会将函数的代码直接插入到每个调用点。

从module里面读取一下inline后的IR代码,发现函数已经有了available_externally标记。
在这里插入图片描述

4 内联后的效果

4.1 llvm决定不做内联

例如dexp函数:
在这里插入图片描述
优化后,还是正常调用:
在这里插入图片描述

4.2 llvm决定内联

在这里插入图片描述

原来调用的位置变成什么了?
在这里插入图片描述

(备忘)clang编译PG源码的方式

clang编译生成.bc文件

cd src/backend/utils/adtclang \
-Wno-ignored-attributes -fno-strict-aliasing \
-fwrapv -fexcess-precision=standard \
-Xclang -no-opaque-pointers -Wno-unused-command-line-argument \
-Wno-compound-token-split-by-macro -O2 \
-I. -I. -I../../../../src/include  \
-D_GNU_SOURCE -I/usr/include/libxml2  -flto=thin -emit-llvm \
-c -o int8.bc int8.c

生成可读的ll文件:

llvm-dis int8.bc

其他编译相关的在这篇: 《LLVM的ThinLTO编译优化技术在Postgresql中的应用》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/679048.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

投资线上黄金是否属于外汇交易?探究黄金与外汇市场的关系

在金融市场中&#xff0c;线上黄金投资和外汇交易都是备受关注的领域。许多人可能会混淆这两者&#xff0c;认为投资线上黄金也是一种外汇交易。但实际上&#xff0c;尽管线上黄金和外汇交易有一些相似之处&#xff0c;但它们在本质上是不同的投资领域。本文将探讨投资线上黄金…

加州大学欧文分校英语中级语法专项课程04:Intermediate Grammar Project学习笔记(完结)

Intermediate Grammar Project Course Certificate Specialization Certificate Specialization Intro Course Intro 本文是学习 Coursera: Intermediate Grammar Project 这门课的学习笔记。 文章目录 Intermediate Grammar ProjectWeek 01: IntroductionCapstone Introducti…

运行Spring Boot项目失败?显示java: 无法访问org.springframework.boot.SpringApplication,让我来看看~

idea项目运行报错截图&#xff1a; &#xff08;1&#xff09;查看错误提示“类文件具有错误的版本 61.0, 应为 52.0”&#xff0c;61.0对应的是jdk17&#xff0c;52.0对应1.8。 通过这个网址可以查询版本&#xff1a; https://stackoverflow.com/questions/9170832/list-of-ja…

论文阅读_使用有向无环图实现流程工程_AgentKit

英文名称: AgentKit: Flow Engineering with Graphs, not Coding 中文名称: AgentKit&#xff1a;使用图而非编码进行流程工程 链接: https://arxiv.org/pdf/2404.11483.pdf 代码: https://github.com/holmeswww/AgentKit 作者: Yue Wu, Yewen Fan, So Yeon Min, Shrimai Prabh…

Windows系统完全卸载删除 Node.js (包含控制面板找不到node.js选项情况)

1.打开cmd命令行窗口&#xff0c;输入npm cache clean --force 回车执行 2.打开控制面板&#xff0c;在控制面板中把Node.js卸载 移除之后检查环境变量是否也移除&#xff1a;点击Path&#xff0c;点击编辑。 把环境变量中和node有关的全部移除&#xff0c;然后点击确定。 3.重…

第八届大数据与物联网国际会议(BDIOT 2024)即将召开!

第八届大数据与物联网国际会议(BDIOT 2024)将于2024年9月14-16日在澳门圣若瑟大学举行。数聚未来&#xff0c;物联世界&#xff01;BDIOT 2024旨在搭建为各位与会代表展示自己研究成果、分享经验、建立联系和开展合作的平台&#xff0c;共同探讨大数据与物联网领域的未来发展方…

Java17 --- SpringCloud之Gateway

目录 一、Gateway网关创建 1.1、创建微服务子工程9527及配置和依赖 1.1.1、pom依赖 1.1.2、yml配置 1.1.3、主启动类并测试入驻consul 二、实现路由映射 2.1、服务8001新增测试代码 2.2、修改9527服务yml配置文件 2.3、远程调用接口加gateway 2.3.1、新增80服务测…

智能商品计划系统:引领未来零售业的革新之路

随着科技的飞速发展&#xff0c;人工智能&#xff08;AI&#xff09;和大数据技术已成为推动各行业革新的关键动力。在零售行业中&#xff0c;智能商品计划系统的出现&#xff0c;正逐步改变着传统的商品规划与管理方式&#xff0c;为品牌注入新的活力与竞争力。本文将对智能商…

Marin说PCB之国产电源芯片方案 ---STC2620Q

随着小米加入的造车大家庭&#xff0c;让这个本来就卷的要死的造车大家庭更加卷了。随之带来的蝴蝶效应就是江湖上各个造成门派都开始了降本方案的浪潮啊&#xff0c;开始打响价格战了。各家的新能源车企也是不得不开始启动了降本方案的计划了&#xff0c;为了应对降价的浪潮。…

5月8日学习记录

_[FBCTF2019]RCEService&#xff08;preg_match函数的绕过&#xff09; 涉及知识点&#xff1a;preg_match函数绕过&#xff0c;json的格式&#xff0c;正则回溯 打开环境&#xff0c;要求用json的格式输入 搜索学习一下json的语法规则 数组&#xff08;Array&#xff09;用方括…

【除了协程还有哪些方式可以实现异步编程】

在Unity中&#xff0c;除了使用协程实现异步编程外&#xff0c;还有以下几种方法&#xff1a; 异步加载资源&#xff1a; 使用UnityWebRequest类进行异步加载资源&#xff0c;这在加载网络资源或动态加载资源时非常有用。 using UnityEngine; using UnityEngine.Networking;…

Linux的虚拟机操作

一、linux系统 我们知道的系统用到的大多数是Windows系统。 Windows个人用到的有&#xff1a;win7 win10 win11 winxp 服务器用到的有&#xff1a;windows server 2003、2008、2013...........等等 linux也有系统。 centos 7 有5、6、8等等 redhat ubuntu kail 二、了…