使用qemu创建ubuntu-base文件系统，并安装PM相关内核模块

目录

  • 一、配置镜像
  • 二、使用qemu模拟nvdimm（安装PM相关内核模块）
    • 运行记录
  • 遇到的一些问题
    • 1、ext4文件系统损坏
        • 问题：系统启动时，遇到ext4的报错信息
        • 解决办法：
        • 2、内核模块未成功加载
        • 3、qemu报错
        • 4、主机终端无法正常打开
        • 5、模块与内核版本不一致

流程简述：
（镜像基本的文件系统配置）
1、下载ubuntu-base的镜像
2、挂载镜像，配置镜像的网络，并安装各类软件
（PM模块配置）
3、编译内核模块，并拷贝到镜像中
4、启动qemu
5、安装内核模块，并配置相关软件

一、配置镜像

1、使用qemu-img创建image镜像（此处起名为ubuntu14.04.raw 20G）

# [可选] sudo apt install qemu
qemu-img create -f raw ubuntu-rootfs-raw-20G.image 20G

注意：此处需要是raw类型，否则后续无法正常格式化（因为qcow2类型没有预先分配空间）。报错信息如下

$ sudo mkfs.ext4 ubuntu-rootfs-qcow2-20G.image
mke2fs 1.45.5 (07-Jan-2020)
ubuntu-rootfs-qcow2-20G.image: Not enough space to build proposed filesystem while setting up superblock

2、格式化镜像文件为ext4的文件系统

# 格式化
sudo mkfs.ext4 ubuntu-rootfs-raw-20G.image
# 检查
file ubuntu-rootfs-raw-20G.image

3、创建一个空目录，镜像的挂载点；然后将镜像挂载上去

mkdir ubuntu-rootfs-dir
sudo mount ubuntu-rootfs-raw-20G.image ubuntu-rootfs-dir

4、下载ubuntu-base-20.04.1-base-amd64.tar.gz镜像，并将其解压到ubuntu-rootfs-dir文件夹中（实质就是向镜像中塞文件，因为当前镜像已经被挂载到文件夹了）
（1）下载地址，https://cdimage.ubuntu.com/ubuntu-base/releases/20.04/release/ubuntu-base-20.04.1-base-amd64.tar.gz。
也可以自行选择其他版本：https://cdimage.ubuntu.com/ubuntu-base/releases/，

wget https://cdimage.ubuntu.com/ubuntu-base/releases/20.04/release/ubuntu-base-20.04.1-base-amd64.tar.gz

（2）解压到ubuntu-rootfs-dir

sudo tar -xzvf ubuntu-base-20.04.1-base-amd64.tar.gz -C ubuntu-rootfs-dir

5、拷贝主机中的网络配置信息到镜像中，方便后续用apt安装软件

sudo cp /etc/resolv.conf ubuntu-rootfs-dir/etc/

6、自行修改source.list文件，设置apt镜像进行加速

假设主机与客服机都是基于ubuntu 20.04，则可以直接拷贝主机的source.list,
否则需要自行配置
sudo cp /etc/apt/source.list ubuntu-rootfs-dir/etc/apt/source.list

7、使用chroot将ubuntu-rootfs-dir暂时设置为根目录（与docker类似），并启动终端

sudo chroot ubuntu-rootfs-dir

8、安装软件

apt update\
&& apt upgrade\
&& apt install linux-image-kvm init vim -y

9、设置密码之类的

update-initramfs -u
echo root:root | chpasswd
echo ttyS0 > /etc/securetty
systemctl enable serial-getty@ttyS0.service

10、退出并卸载

sudo umount ubuntu-rootfs-dir

11、后续扩展
（1）如果需要重新安装软件，可以重复第7步骤，挂载镜像，然后chroot进去。
（2）镜像扩容操作

qemu-img resize ubuntu-rootfs-raw-20G.image +10G

二、使用qemu模拟nvdimm（安装PM相关内核模块）

如果要运行PM
1、安装软件包（安装到镜像里面）

apt install -y systemd numactl ndctl daxctl

2、编译内核时，编译相关模块

make -j16 vmlinux bzImage
make M=drivers/dax -j16
make M=drivers/nvdimm/ -j16
make M=drivers/dax/pmem -j16

3、将编译好的模块复制到镜像中

# 1、挂载镜像
# 略# 2、设置路径（路径根据需要进行修改）
image_dir_path=/home/my/my_images/ubuntu-base/ubuntu-rootfs-dir
module_path=$image_dir_path/root/my_modules
sudo mkdir $module_path# 3、拷贝编译的内核模块到镜像中
cd linux-5.15.114
sudo cp -r ./drivers/dax $module_path/drivers/dax
sudo cp -r ./drivers/nvdimm $module_path/drivers/nvdimm# 4、卸载镜像
# 略

3、运行qemu

qemu-system-x86_64 \-machine pc,nvdimm=on \-m 2G,slots=4,maxmem=32G \-nographic -kernel bzImage \-smp cores=4,threads=1,sockets=2 \-hda ubuntu_rootfs.ext4 \-object memory-backend-ram,id=mem0,size=1G  \-object memory-backend-ram,id=mem1,size=1G  \-numa node,memdev=mem0,cpus=0-3,nodeid=0 \-numa node,memdev=mem1,cpus=4-7,nodeid=1 \-numa node,nodeid=2 -numa node,nodeid=3 \-object memory-backend-ram,id=nvdimm1,size=4G\-device nvdimm,memdev=nvdimm1,id=nv1,unarmed=off,node=2 \-object memory-backend-ram,id=nvdimm2,size=4G\-device nvdimm,memdev=nvdimm2,id=nv2,unarmed=off,node=3 \-append "console=ttyS0 crashkernel=256M root=/dev/sda rootfstype=ext4 rw loglevel=8"

4、安装模块（注意模块之间的依赖）

insmod /root/my_modules/drivers/dax/device_dax.ko
insmod /root/my_modules/drivers/dax/kmem.koinsmod /root/my_modules/drivers/dax/pmem/dax_pmem_core.ko
insmod /root/my_modules/drivers/dax/pmem/dax_pmem.ko
insmod /root/my_modules/drivers/dax/pmem/dax_pmem_compat.koinsmod /root/my_modules/drivers/nvdimm/nd_btt.ko
insmod /root/my_modules/drivers/nvdimm/nd_blk.ko
insmod /root/my_modules/drivers/nvdimm/nd_pmem.ko
insmod /root/my_modules/drivers/nvdimm/nd_virtio.ko
insmod /root/my_modules/drivers/nvdimm/virtio_pmem.ko# check
lsmod

此处注意：模块之间可能存在依赖，需要按照一定的顺序。如果顺序不对，可能出现如下报错信息insmod: ERROR: could not insert module device_dax.mod: Invalid module format。此时，使用dmesg | tail可以查看详细日志信息，使用modinfo ./dax_pmem.ko | grep depend 可以查看模块的依赖。

$ modinfo ./dax_pmem.ko | grep depend 
depends:        dax_pmem_core
# 可以看到dax_pmem.ko依赖dax_pmem_core模块

5、配置nvdimm

# 首次配置
daxctl migrate-device-model
echo offline > /sys/devices/system/memory/auto_online_blocks
ndctl create-namespace -f --mode devdax --continue
daxctl reconfigure-device --mode=system-ram all# 重启后重新配置
echo offline > /sys/devices/system/memory/auto_online_blocks
ndctl disable-namespace all
ndctl destroy-namespace all
ndctl create-namespace -f --mode devdax --continue
daxctl reconfigure-device --mode=system-ram all

6、合并四五步
后续可以创建一个init.sh文件放到镜像中，启动时自动运行

# init.sh
# 用于image镜像中挂载内核模块等insmod /root/my_modules/drivers/dax/device_dax.ko
insmod /root/my_modules/drivers/dax/kmem.koinsmod /root/my_modules/drivers/dax/pmem/dax_pmem_core.ko
insmod /root/my_modules/drivers/dax/pmem/dax_pmem.ko
insmod /root/my_modules/drivers/dax/pmem/dax_pmem_compat.koinsmod /root/my_modules/drivers/nvdimm/nd_btt.ko
insmod /root/my_modules/drivers/nvdimm/nd_blk.ko
insmod /root/my_modules/drivers/nvdimm/nd_pmem.ko
insmod /root/my_modules/drivers/nvdimm/nd_virtio.ko
insmod /root/my_modules/drivers/nvdimm/virtio_pmem.ko# 首次配置
# daxctl migrate-device-model
# echo offline > /sys/devices/system/memory/auto_online_blocks
# ndctl create-namespace -f --mode devdax --continue
# daxctl reconfigure-device --mode=system-ram all# 重启后重新配置
echo offline > /sys/devices/system/memory/auto_online_blocks
ndctl disable-namespace all
ndctl destroy-namespace all
ndctl create-namespace -f --mode devdax --continue
daxctl reconfigure-device --mode=system-ram all

运行记录

root@localhost:~/my_modules/drivers/nvdimm/nvdimm# echo offline > /sys/devices/system/memory/auto_online_blocks
root@localhost:~/my_modules/drivers/nvdimm/nvdimm# ndctl create-namespace -f --mode devdax --continue
{"dev":"namespace1.0","mode":"devdax","map":"dev","size":"3.94 GiB (4.23 GB)","uuid":"12f978b1-c1f4-4be8-a67d-aa076e0a4152","daxregion":{"id":1,"size":"3.94 GiB (4.23 GB)","align":2097152,"devices":[{"chardev":"dax1.0","size":"3.94 GiB (4.23 GB)","target_node":3,"mode":"devdax"}]},"align":2097152
}
{"dev":"namespace0.0","mode":"devdax","map":"dev","size":"3.94 GiB (4.23 GB)","uuid":"0529e940-38b1-45fd-a0b1-43fcf95192ce","daxregion":{"id":0,"size":"3.94 GiB (4.23 GB)","align":2097152,"devices":[{"chardev":"dax0.0","size":"3.94 GiB (4.23 GB)","target_node":2,"mode":"devdax"}]},"align":2097152
}
created 2 namespaces
root@localhost:~/my_modules/drivers/nvdimm/nvdimm# daxctl reconfigure-device --mode=system-ram all
[{"chardev":"dax0.0","size":4225761280,"target_node":2,"mode":"system-ram","movable":true}
]

非首次运行：

root@localhost:~/my_modules/drivers/nvdimm# echo offline > /sys/devices/system/memory/auto_online_blocks
oy-namespace all
ndctl create-namespace -f --mode devdax --continue
daxctl reconfigure-device --moderoot@localhost:~/my_modules/drivers/nvdimm# ndctl disable-namespace all
=system-ram alldisabled 2 namespaces
root@localhost:~/my_modules/drivers/nvdimm# ndctl destroy-namespace all
destroyed 0 namespaces
root@localhost:~/my_modules/drivers/nvdimm# ndctl create-namespace -f --mode devdax --continue
{"dev":"namespace1.0","mode":"devdax","map":"dev","size":"3.94 GiB (4.23 GB)","uuid":"8259f939-0c3d-43c4-89cb-6e89653c290f","daxregion":{"id":1,"size":"3.94 GiB (4.23 GB)","align":2097152,"devices":[{"chardev":"dax1.0","size":"3.94 GiB (4.23 GB)","target_node":3,"mode":"devdax"}]},"align":2097152
}
{"dev":"namespace0.0","mode":"devdax","map":"dev","size":"3.94 GiB (4.23 GB)","uuid":"41d3381f-cd6a-4c02-b8d1-c97cd2633cb4","daxregion":{"id":0,"size":"3.94 GiB (4.23 GB)","align":2097152,"devices":[{"chardev":"dax0.0","size":"3.94 GiB (4.23 GB)","target_node":2,"mode":"devdax"}]},"align":2097152
}
created 2 namespaces
root@localhost:~/my_modules/drivers/nvdimm# daxctl reconfigure-device --mode=system-ram all
[{"chardev":"dax0.0","size":4225761280,"target_node":2,"mode":"system-ram","movable":true}
]
reconfigured 2 devices

遇到的一些问题

1、ext4文件系统损坏

问题：系统启动时，遇到ext4的报错信息

[ 3.630969] EXT4-fs error (device sda): htree_dirblock_to_tree:1080: inode #393220: comm systemd-tmpfile: Directory block failed checksum

这还会导致其它的问题，例如：

  • 有文件删不掉
rm: cannot remove 'directory': Bad message
  • 文件变成目录，还删不掉
# 提示双重目录（因为daxctl.conf变成了目录）
conf_files_filter_out: Directories inside directories are not supported: /etc/modprobe.d/daxctl.conf
# 删除不了
"cannot remove 'daxctl.conf': Directory not empty"

解决办法：

使用e2fsck工具扫描并修复一下文件系统，基本全程按y确定，即可。（按我看到的信息，貌似是一些文件的ref没有更新，导致文件出错）

e2fsck -y ubuntu-rootfs-raw-20G.image

其中，
-f 选项用于强制检查文件系统，即使文件系统处于已挂载状态。
-y 选项用于自动回答所有修复问题为 “yes”，以便自动修复文件系统错误。
检查：

$ e2fsck ubuntu-rootfs-raw-20G.image
e2fsck 1.45.5 (07-Jan-2020)
ubuntu-rootfs-raw-20G.image: clean, 13654/1310720 files, 321042/5242880 blocks

2、内核模块未成功加载

出错信息

$ ndctl create-namespace -f --mode devdax --continue
libkmod: ERROR ../libkmod/libkmod-module.c:838 kmod_module_insert_module: could not find module by name='dax_pmem'
原因：lsmod检查一下，应该是dax_pmem模块没有成功加载。

root@localhost:~# depmod -a
depmod: ERROR: could not open directory /lib/modules/5.15.114+: No such file or directory原因：我一开始忘记把内核模块放到镜像里了。

3、qemu报错

# qemu环境中，执行关机命令
$ shutdown now
....
systemd-journald[202]: Failed to send stream file descriptor to service manager: Connection refused

猜测：可能是这里有文件没有写完，qemu就被我关了。说不定前面文件系统出错就是因为这个原因。

4、主机终端无法正常打开

不知道具体什么原因（猜测是因为我有时挂载了/dev目录，然后导致终端无法打开，vscode远程链接的终端也无法打开），报错信息如下：

There was an error creating the child proces for this terminalFailed to open PTY: No such device

在这里插入图片描述
解决办法：
1、想办法进入系统，通过安全模式或者启动盘，或者什么的，反正只要能运行boot-repair
2、下载boot-repair
3、运行boot-repair进行修复。

$ sudo apt install boot-repair
$ boot-repair

5、模块与内核版本不一致

insmod时出错，然后dmesg | tail可查到报错信息，大致如下：

device_dax: disagrees about version of symbol vmf_insert_mixed: unknown symbol kmalloc_caches (err -22)

原因：为了编译更快一点，我的编译命令是make -j16 vmlinux，因此只有vmlinux被更新了，其它的模块没有被更新。

tips（备忘录）
假如存在目录a/c和目录b/c，现在a/c下面添加了1.txt，而我想把这个1.txt同步到b/c下面。
首先， cp -r a/c b/c和cp -r a/c b/c/都不行，它们会把a/c复制到b/c下面，出现了一个b/c/c的文件夹
然后，网上提出了一些方案：https://stackoverflow.com/questions/23698183/how-to-force-cp-to-overwrite-directory-instead-of-creating-another-one-inside，但是我觉得都不太优雅。。。

  1. 先rm旧文件夹，再cp新文件夹。简单，但是缺点是文件夹很大的话就很慢吧？
  2. 使用rsync同步文件夹。很好，唯一缺点：我用rsync用得没那么熟，而且我不确定rsync是否在所有服务器上都默认已经安装了
  3. 使用-T参数，将目标目录视为文件对象。缺点：很少用到这个参数，而且将文件夹视为文件这个功能，我怕我乱用之后，自己以后脑子都记不清了。
  4. cp -r a/c/* b/c/*。缺点：我平时用肯定会选这个，但是写在脚本里就不太方便，因为第一次运行得时候，b/c文件夹是不存在的，那这个命令就会报错。因此我写脚本的时候，需要判断这种情况，然后再用不同命令处理。

解决办法：
（1）在编译内核的时候同时编译相关模块

# 默认会编译所有代码
make -j16

（2）将新编译的模块替换旧的模块，为了方便这里写了个脚本。脚本内容就是先挂载镜像，然后拷贝文件，最后卸载镜像。只不过为了安全起见，加了一些check的代码（担心有参数是空的，然后路径变成/什么的）。

linux_kernel_root=.
image_root=/home/mingyang/my_images/ubuntu-base
image_path=$image_root/ubuntu-rootfs-raw-20G.image
mount_dir=$image_root/ubuntu-rootfs-dir# check
if [[ ! -d $image_root ]]
thenecho $image_root" not exists"exit
fi
if [[ ! -f $image_path ]]
thenecho $image_path" not exists"exit
fi
if [[ ! -d $mount_dir ]]
thenecho $mount_dir" not exists"exit
fi# mount
sudo mount $image_path $mount_dir
ret=$?
if [[ ! ret ]]
thenecho "mount $image_path to $mount_dir failed"exit
fi
echo "success mounting $image_path to $mount_dir"# copy
module_path=$mount_dir"/root/my_modules"sudo mkdir -p $module_path/drivers/dax
sudo mkdir -p $module_path/drivers/nvdimmsudo rm -r $module_path/drivers/dax
sudo rm -r $module_path/drivers/nvdimmsudo cp -r $linux_kernel_root/drivers/dax $module_path/drivers/dax
sudo cp -r $linux_kernel_root/drivers/nvdimm $module_path/drivers/nvdimmecho "success copying modules to $module_path"# umount
sudo umount $mount_dir
if [[ ! ret ]]
thenecho "umount $mount_dir failed"exit
fi
echo "success umounting $image_path to $mount_dir"

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/27625.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【深度学习平台推荐】 Kaggle

【深度学习平台推荐】 Kaggle

工欲善其事，必先利其器。在一个优秀的平台上，更利于深度学习的探究。 本文目的是推荐一些深度学习相关的网站。 1 Kaggle Kaggle offers a no-setup, customizable, Jupyter Notebooks environment. Access GPUs at no cost to you and a huge repositor…
阅读更多...
GDB调试——学习笔记

GDB调试——学习笔记

文章目录 GDB是什么GDB调试的一般步骤1. 编译生成带源代码信息的可执行文件2. 启动调试3. 进行调试：设置断点、查看变量、寻找BUG4. 退出调试 GDB是什么 GDB就是一个程序代码调试的工具。 GDBGCC开发环境 GDB调试的一般步骤 1. 编译生成带源代码信息的可执行文件…
阅读更多...
6.3.5 利用Wireshark进行协议分析（五）----捕获并分析ICMP报文

6.3.5 利用Wireshark进行协议分析（五）----捕获并分析ICMP报文

6.3.5 利用Wireshark进行协议分析（五）----捕获并分析ICMP报文 一、捕获ICMP报文 打开Wireshark，选择网络接口并点击开始按钮。分组列表面板不断刷新抓渠道的数据包，为了过滤出我们所要分析的ICMP报文，我们在过滤框中输…
阅读更多...
（学习笔记-连接断开）TCP四次挥手

（学习笔记-连接断开）TCP四次挥手

TCP四次挥手过程 TCP断开连接是通过四次挥手实现的，双方都可以主动断开连接，断开连接后主机中的资源将被释放，四次挥手的过程如下： 客户端打算关闭连接时，会发送一个TCP首部FIN标志位为1的报文，也就是FIN报…
阅读更多...
C#中的抽象类（abstract）

C#中的抽象类（abstract）

C#中的抽象类（abstract）。 1：抽象方法只作声明，而不包含实现，可以看成是没有实现体的虚方法 2：抽象类不能被实例化 3：抽象类可以但不是必须有抽象属性和抽象方法，但是一旦有了抽象方…
阅读更多...
OpenCV中reshape()函数详解-改变矩阵的通道数，对矩阵元素进行序列化

OpenCV中reshape()函数详解-改变矩阵的通道数，对矩阵元素进行序列化

文章目录 1、函数原型2、示例3、结论： OpenCV中reshape()函数详解-改变矩阵的通道数，对矩阵元素进行序列化 在opencv中reshape函数，既可以改变矩阵的通道数，又可以对矩阵元素进行序列化 1、函数原型 Mat Mat::reshape(int cn, in…
阅读更多...
SQLServer2022安装（Windows)，已验证

SQLServer2022安装（Windows)，已验证

二、安装可视化工具SSMS 接下来安装可视化工具SSMS，现在新版本默认都是没有可视化界面，需要单独安装 （1）地址：下载 SQL Server Management Studio (SSMS) - SQL Server Management Studio (SSMS) | Microsoft Learn…
阅读更多...
集合面试题--二叉树，红黑树，散列表

集合面试题--二叉树，红黑树，散列表

目录 二叉树 二叉搜索树 时间复杂度 总结 红黑树 红黑树特质 复杂度 总结 散列表 散列函数 哈希冲突 散列冲突-链表法（拉链） 时间复杂度 ​总结 二叉树 二叉树，顾名思义，每个节点最多有两个“叉”，也就是…
阅读更多...
jenkins发布使用邮件添加审批

jenkins发布使用邮件添加审批

首先安装好Email Extension Plugin插件并在 system下配置好邮件 然后配置流水线需要的参数 ![在这里插入图片描述](https://img-blog.csdnimg.cn/418fc89bfa89429783a1eb37d3e4ee26.png#pic_center pipeline如下： def skipRemainingStages false //是否跳过生…
阅读更多...
pdf转excel表格怎么做？分享效率超高的方法

pdf转excel表格怎么做？分享效率超高的方法

PDF是我们在办公中常用的格式，它方便我们保存、查阅和传输文件。有时候我们可能会遇到需要将大量内容的PDF文档转换为Excel表格的情况，这时候一个好用的转换工具就能帮助我们省时高效地完成任务。下面将介绍几款可靠且实用的PDF转换器软件。 一、小圆象P…
阅读更多...
如何使用ArcGIS Pro进行洪水淹没分析

如何使用ArcGIS Pro进行洪水淹没分析

伴随Esri将重心越来越多的放在ArcGIS Pro上，以后ArcGIS的使用场景可能会越来越少，所以我们可以提前接触并使用ArcGIS Pro，做好相关准备。这里为大家介绍一下在ArcGIS中常见的操作——洪水淹没分析在ArcGIS Pro中如何实现。 01 加载数据 在菜单栏上点击插入，点击新建地图，…
阅读更多...
每天一道大厂SQL题【Day26】脉脉真题实战(二)活跃时长的均值

每天一道大厂SQL题【Day26】脉脉真题实战(二)活跃时长的均值

文章目录 每天一道大厂SQL题【Day26】脉脉真题实战(二)活跃时长的均值每日语录第26题 中级题: 活跃时长的均值1. 需求列表思路分析 答案获取加技术群讨论附表文末SQL小技巧 后记 每天一道大厂SQL题【Day26】脉脉真题实战(二)活跃时长的均值 大家好，我是Maynor。相信…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023