hugetlb核心组件

1 概述

hugetlb机制是一种使用大页的方法，与THP(transparent huge page)是两种完全不同的机制，它需要：

  • 管理员通过系统接口reserve一定量的大页，
  • 用户通过hugetlbfs申请使用大页，

核心组件如下图：

 围绕着保存大页的核心数据结构hstate，

  • 不同的系统接口，通过__nr_pages_store_common()将申请大页，并存入hstate；
  • 不同的hugetlbfs挂载，通过alloc_huge_page()从hstate中申请大页使用；

下面，我们分别详解这些组件。

2 hstate

如上图中，hstate用于保存huge page，

关于hstate，参考以下代码：

struct hstate hstates[HUGE_MAX_HSTATE];gigantic_pages_init()
---/* With compaction or CMA we can allocate gigantic pages at runtime */if (boot_cpu_has(X86_FEATURE_GBPAGES))hugetlb_add_hstate(PUD_SHIFT - PAGE_SHIFT);
---hugetlb_init()
---hugetlb_add_hstate(HUGETLB_PAGE_ORDER);if (!parsed_default_hugepagesz) {...default_hstate_idx = hstate_index(size_to_hstate(HPAGE_SIZE));...}---#define HPAGE_SHIFT		PMD_SHIFT
#define HUGETLB_PAGE_ORDER	(HPAGE_SHIFT - PAGE_SHIFT)default_hugepagesz_setup()
---...default_hstate_idx = hstate_index(size_to_hstate(size));...
---
__setup("default_hugepagesz=", default_hugepagesz_setup);

 其中有以下几个关键点：

  • x86_64架构存在两个hstate，2M和1G
  • 系统中存在一个default hstate，默认是2M的，可以通过kernel commandline设置；

我们在/proc/meminfoh中看到的：

HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB

 HugePages开头的这几个都是default hstate的数据，换句话说，是2M的；1G的hugetlbs数据并不会体现在其中，参考代码：

hugetlb_report_meminfo()
---for_each_hstate(h) {unsigned long count = h->nr_huge_pages;total += huge_page_size(h) * count;if (h == &default_hstate)seq_printf(m,"HugePages_Total:   %5lu\n""HugePages_Free:    %5lu\n""HugePages_Rsvd:    %5lu\n""HugePages_Surp:    %5lu\n""Hugepagesize:   %8lu kB\n",count,h->free_huge_pages,h->resv_huge_pages,h->surplus_huge_pages,huge_page_size(h) / SZ_1K);}seq_printf(m, "Hugetlb:        %8lu kB\n", total / SZ_1K);
---

这我们再贴一段hstate处理hugepage的代码：

dequeue_huge_page_nodemask()-> dequeue_huge_page_node_exact()---list_move(&page->lru, &h->hugepage_activelist);set_page_refcounted(page);ClearHPageFreed(page);h->free_huge_pages--;h->free_huge_pages_node[nid]--;---

 非常简单，链表维护，减少计数。

3 nr_hugepages

hugetlb需要系统管理员将一定量的内存reserve给hugetlb，可以通过以下途径：

  • /proc/sys/vm/nr_hugepages，参考代码hugetlb_sysctl_handler_common()，它会向default_hstate注入大页，也就是2M；
  • /sys/kernel/mm/hugepages/hugepages-size/nr_hugepages，这里可以指定size向2M或者1G的hstate注入大页，node策略为interleaved，

  • /sys/devices/system/node/node_id/hugepages/hugepages-size/nr_hugepages，通过该接口，不仅可以指定size，还可以指定node；

参考代码：

// /sys/kernel/mm/hugepages
hugetlb_sysfs_init()
---hugepages_kobj = kobject_create_and_add("hugepages", mm_kobj);...for_each_hstate(h) {err = hugetlb_sysfs_add_hstate(h, hugepages_kobj,hstate_kobjs, &hstate_attr_group);...}
---hugetlb_register_node()
---struct node_hstate *nhs = &node_hstates[node->dev.id];...nhs->hugepages_kobj = kobject_create_and_add("hugepages",&node->dev.kobj);...for_each_hstate(h) {err = hugetlb_sysfs_add_hstate(h, nhs->hugepages_kobj,nhs->hstate_kobjs,&per_node_hstate_attr_group);...}
---nr_hugepages_store_common()
---h = kobj_to_hstate(kobj, &nid);return __nr_hugepages_store_common(obey_mempolicy, h, nid, count, len);
---static struct hstate *kobj_to_hstate(struct kobject *kobj, int *nidp)
{int i;for (i = 0; i < HUGE_MAX_HSTATE; i++)if (hstate_kobjs[i] == kobj) {if (nidp)*nidp = NUMA_NO_NODE;return &hstates[i];}return kobj_to_node_hstate(kobj, nidp);
}

 另外，hugetlb还有overcommit功能，参考Redhat官方给出的解释：

/proc/sys/vm/nr_overcommit_hugepages

Defines the maximum number of additional huge pages that can be created and used by the system through overcommitting memory. Writing any non-zero value into this file indicates that the system obtains that number of huge pages from the kernel's normal page pool if the persistent huge page pool is exhausted. As these surplus huge pages become unused, they are then freed and returned to the kernel's normal page pool.

不过，在实践中，我们通常不会使用这个功能，hugetlb reserve的内存量都是经过预先计算的预留的；overcommit虽然提供了一定的灵活性，但是增加了不确定性。 

4 hugetlbfs

hugetlb中的所有大页，都需要通过hugetlbfs以文件的形式呈现出来，供用户读写；接下来，我们先看下hugetlbfs的文件的使用方法。

const struct file_operations hugetlbfs_file_operations = {.read_iter		= hugetlbfs_read_iter,.mmap			= hugetlbfs_file_mmap,.fsync			= noop_fsync,.get_unmapped_area	= hugetlb_get_unmapped_area,.llseek			= default_llseek,.fallocate		= hugetlbfs_fallocate,
};

hugetlbfs的文件并没有write_iter方法，如果我们用write系统调用操作该文件，会报错-EINVAL，具体原因可以索引代码中的FMODE_CAN_WRITE的由来；不过，hugetlbfs中的文件可以通过read系统调用读。fallocate回调存在意味着，我们可以预先通过fallocate给文件分配大页。另外，从hugetlb这个名字中我们就可以知道，它主要跟mmap有关，我们看下关键代码实现：

handle_mm_fault()-> hugetlb_fault()-> hugetlb_no_page()-> alloc_huge_page()hugetlbfs_fallocate()-> alloc_huge_page()

所以，hugetlbfs的大页是从mmap后的pagefault分配或者fallocate提前分配好的；

关于hugetlbfs的大页的分配，还需要知道reserve的概念；

hugetlbfs_file_mmap()-> hugetlb_reserve_pages()-> hugetlb_acct_memory()-> gather_surplus_pages()---needed = (h->resv_huge_pages + delta) - h->free_huge_pages;if (needed <= 0) {h->resv_huge_pages += delta;return 0;}---alloc_huge_page()-> dequeue_huge_page_vma()---if (page && !avoid_reserve && vma_has_reserves(vma, chg)) {SetHPageRestoreReserve(page);h->resv_huge_pages--;}---
//如果是fallocate路径，avoid_reserve就是true

hugetlb_acct_memory()用于执行reserve，但是并不会真的分配；

这里并不是文件系统的delay allocation功能，大页的累计有明确的数量和对齐要求；reserve只是为了符合mmap的语义，即mmap时不会分配内存，page fault才分配；

hugetlbfs的mount参数中有一个min_size，可以直接在mount的时候reserve大页，如下：

hugepage_new_subpool()
---spool->max_hpages = max_hpages;spool->hstate = h;spool->min_hpages = min_hpages;if (min_hpages != -1 && hugetlb_acct_memory(h, min_hpages)) {kfree(spool);return NULL;}spool->rsv_hpages = min_hpages;
---

 而在实践中，这也没有必要；与overcommit类似，hugetlb最关键的特性就是确定性，它能确保用户可以使用到huge page，所以，资源都是提供计算预留好的，甚至包括，哪个进程能用多少等，所以，做这种mount reserve没有意义。

hugetlbfs除了用户通过mount命令挂载的，系统还给每个hstate一个默认挂载；

init_hugetlbfs_fs()
---/* default hstate mount is required */mnt = mount_one_hugetlbfs(&default_hstate);...hugetlbfs_vfsmount[default_hstate_idx] = mnt;/* other hstates are optional */i = 0;for_each_hstate(h) {if (i == default_hstate_idx) {i++;continue;}mnt = mount_one_hugetlbfs(h);if (IS_ERR(mnt))hugetlbfs_vfsmount[i] = NULL;elsehugetlbfs_vfsmount[i] = mnt;i++;}
--hugetlb_file_setup()
---hstate_idx = get_hstate_idx(page_size_log);...mnt = hugetlbfs_vfsmount[hstate_idx];...inode = hugetlbfs_get_inode(mnt->mnt_sb, NULL, S_IFREG | S_IRWXUGO, 0);...
---ksys_mmap_pgoff()
---if (!(flags & MAP_ANONYMOUS)) {...} else if (flags & MAP_HUGETLB) {...hs = hstate_sizelog((flags >> MAP_HUGE_SHIFT) & MAP_HUGE_MASK);...len = ALIGN(len, huge_page_size(hs));...file = hugetlb_file_setup(HUGETLB_ANON_FILE, len,VM_NORESERVE,&ucounts, HUGETLB_ANONHUGE_INODE,(flags >> MAP_HUGE_SHIFT) & MAP_HUGE_MASK);...}retval = vm_mmap_pgoff(file, addr, len, prot, flags, pgoff);
---memfd_create()
---
...if (flags & MFD_HUGETLB) {...file = hugetlb_file_setup(name, 0, VM_NORESERVE, &ucounts,HUGETLB_ANONHUGE_INODE,(flags >> MFD_HUGE_SHIFT) &MFD_HUGE_MASK);}...fd_install(fd, file);
---

默认hugetlbfs挂载主要用于：

  • memfd，MEMFD_HUGETLB，直接从hugetlb中申请大页，创建匿名mem文件；
  • mmap，MMAP_HUGETLB，直接总hugetlb中申请大页，mmap到程序中；

这种方法虽然增加了灵活性，但是，还是之前强调的hugetlbfs是为了大页的确定性而存在的。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/157861.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

无需数据搬迁，10倍性能提升！携程的统一分析之旅

无需数据搬迁，10倍性能提升！携程的统一分析之旅

作者&#xff1a;携程技术中心大数据总监 许鹏 携程自 2022 年起引入了 StarRocks&#xff0c;目前已经成为了集团内部的主要技术栈&#xff0c;应用到酒店、机票、商旅、度假、市场、火车票等多个关键业务线。目前&#xff0c;携程内部已经拥有超过 10 个 StarRocks 集群&…
阅读更多...
Linux下使用vscode编写Python项目

Linux下使用vscode编写Python项目

我此处是使用VScode远程连接的服务器&#xff0c;具体方法可看如下&#xff1a; 1、vscode中安装Python插件 按上面步骤安装好Python插件后&#xff0c;重启vscode&#xff1b; 2、选择Python解释器 创建Python项目结构&#xff1a; 按下F1&#xff0c;打开vscode命令栏&am…
阅读更多...
ViT Vision Transformer超详细解析，网络构建，可视化，数据预处理，全流程实例教程

ViT Vision Transformer超详细解析，网络构建，可视化，数据预处理，全流程实例教程

关于ViT的分析和教程&#xff0c;网上又虚又空的东西比较多&#xff0c;本文通过一个实例&#xff0c;将ViT全解析。 包括三部分内容&#xff0c;网络构建&#xff1b;orchview.draw_graph 将网络每一层的结构与输入输出可视化&#xff1b;数据预处理。附完整代码 网络构建 …
阅读更多...
ElementUI 自定义 Tree 树形控件背景

ElementUI 自定义 Tree 树形控件背景

在 template 中 <div class"container"><el-tree :data"treeList" :props"defaultProps" accordion node-click"handleNodeClick" /> </div> 在 script 中 treeList: [{ id: "-1", label: "区域选…
阅读更多...
UE5——网络——属性复制

UE5——网络——属性复制

当属性被注册进行复制后&#xff0c;您将无法再取消注册&#xff08;涉及到生存期这一话题&#xff09;。之所以会这样&#xff0c;是因为我们要预制尽可能多的信息&#xff0c;以便针对同一组属性将某一工作分担给多个连接。这样可以节省大量的计算时间。 virtual void GetLif…
阅读更多...
NEFU数字图像处理（3）图像分割

NEFU数字图像处理（3）图像分割

一、图像分割的基本概念 1.1专有名词 前景和背景 在图像分割中&#xff0c;我们通常需要将图像分为前景和背景两个部分。前景是指图像中我们感兴趣、要分割出来的部分&#xff0c;背景是指和前景不相关的部分。例如&#xff0c;对于一张人物照片&#xff0c;人物就是前景&…
阅读更多...
华山编程培训中心——工业相机飞拍

华山编程培训中心——工业相机飞拍

飞拍功能是一种高速运动图像采集技术&#xff0c;通过降低相机的曝光时间来拍摄快速移动的对象&#xff0c;以提高工作效率和加快生产速度。下面视频演示工业相机飞拍&#xff1a; 上位机控制工业相机飞拍演示 一. 飞拍对相机硬件的要求 全局快门相机&#xff1a;飞拍要求相机…
阅读更多...
指针进阶（2）

指针进阶（2）

文章目录 6. 函数指针数组7. 指向函数指针数组的指针8. 回调函数 6. 函数指针数组 之前我们已经学习过指针数组&#xff0c;比如整型指针数组等&#xff0c;因此我们可以以此进行类比&#xff1a; int Add(int x, int y) {return x y; }int Sub(int x, int y) {return x - y…
阅读更多...
主机ping、ssh连接不通本地虚拟机

主机ping、ssh连接不通本地虚拟机

一、问题描述 在使用vscode remote ssh时&#xff0c;连接timeout&#xff0c;而且主机无论如何也ping不通虚拟机&#xff0c;但是虚拟机可以ping通主机。通过vagrant也可以连接虚拟机。 二、解决方案 试了网上包括设置remote ssh在内的许多方法都不行。重新查看主机和虚拟机…
阅读更多...
基于深度学习的水果识别 计算机竞赛

基于深度学习的水果识别 计算机竞赛

1 前言 Hi&#xff0c;大家好&#xff0c;这里是丹成学长&#xff0c;今天做一个 基于深度学习的水果识别demo 这是一个较为新颖的竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f9ff; 更多资料, 项目分享&#xff1a; https://gitee.com/dancheng-senior/pos…
阅读更多...
ESP32 未来能够取代 STM32吗

ESP32 未来能够取代 STM32吗

今日话题&#xff0c;ESP32 未来能够取代 STM32吗&#xff1f;ESP32和STM32各自有其特点和优势&#xff0c;能否取代彼此取决于具体应用和需求。STM32的流行除了性价比外&#xff0c;还有其强大的开发环境&#xff0c;例如Cubemx能够快速生成代码&#xff0c;使得上手STM32的速…
阅读更多...
学习c++的第二天

学习c++的第二天

目录 数据类型 基本数据类型 typedef 声明 枚举类型 类型转换 变量类型 变量定义 变量声明 左值&#xff08;Lvalues&#xff09;和右值&#xff08;Rvalues&#xff09; 变量作用域 数据类型 基本数据类型 C 为程序员提供了种类丰富的内置数据类型和用户自定义的数…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023