Window系统显存不足时利用共享内存继续运行

存在问题

在进行实验过程中,时常碰到显存不足的问题,此时要么需要减小模型体积,要么减小batch-size大小,但这势必会对结果造成一定影响,此时我们可以使用GPU共享内存的方法来扩充显存。

解决方法

GPU有几个重要参数,GPU显存,GPU内存,其中GPU显存是实打实的显存,显存越大,意味着可运行的模型体积越大,所处理的数据量也就越大。而GPU内存=GPU显存+GPU共享内存,GPU共享内存是指在显存不足时,可以调度一定的内存来填充显存,以保证软件正常运行。

而在我们进行实验过程中,如果遇到显存不足的情况,就会报错显存溢出,从而终止运行,那么我们就可以考虑使用GPU的共享内存来继续保证程序运行,但需要注意的是这势必会使模型运行速度变慢。

但在有些情况下,我们只需要模型能够正常运行而不考虑它的运行速度,那么此时共享内存的作用便展现出来了。
事实上,这项技术是Window系统所专有的,此外,这个使用内存来充当显存的方法也是Nvida在最近的驱动中所提供的。

1.更新驱动

前面以及说了,这项功能是Nvidia最新的驱动中所提供的,在驱动程序 536.40 中,其实现了一种新方法,允许应用程序在耗尽 GPU 内存的情况下使用共享内存。这使得以前在 GPU 内存不足时崩溃的应用程序能够继续运行,尽管速度较低。当运行接近最大 GPU 内存以实现无缝转换时,会切换到使用共享内存。
这里我们为了方便,直接下载最新版本546.33。

可以去Nvidia官网下载,当然也可以直接在电脑的Nvidia设置中直接更新。这里博主就不再赘述了。

在这里插入图片描述

2.查找可执行文件

在更新驱动后,我们需要找到我们运行的exe文件,即当我们在运行python项目时的使用的是哪个python.exe文件。
我们可以通过打开任务管理器来查看运行的exe文件:

在这里插入图片描述

或者我们打开cmd控制台,输入nvidia-smi来查看当前显卡占用:

在这里插入图片描述

找到运行的exe文件后我们需要打开Nvida控制面板,在搜索中即可找到

3.修改配置

在这里插入图片描述

打开后按照如下步骤操作,事实上经过博主实验,在安装了最新的驱动后,不需要设置回退功能,即使用它默认的功能即可完GPU调用共享内存炼丹。

在这里插入图片描述

此时我们再次运行程序,将batch-size调大,此时就不会报显存溢出的错误了,打开任务管理器,可以看到我们的GPU内存已经跑满,同时共享内存也有占用:

在这里插入图片描述

总结

然而不幸的是,在使用了这种方式运行后,其虽然相当于扩充了显存,能够保证模型正常运行,但这也会造成运行速度大大减慢,博主在自己的程序上进行测试,速度差了十倍不止。

当然本身使用自己的笔记本完成所有实验也不太现实,因此这个方法能够帮助我们在本地调试程序就已经很不错了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/297770.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

otter-harbor同步

一. 部署及依赖 otter Github (一). 服务启动 1. mysql 5.6版本以上,作为 otter-manger 使用的数据库 # mysql docker run --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD123456 -d mysql:5.7 --character-set-serverutf8mb4 --collation-serverutf8mb4_un…

2023年12月16日~12月22日(自适应反馈机制下基于卷积神经网络的高清晰反射波反演算法:CNN-RWI)

标题:Adaptive Feedback Convolutional-Neural-Network-Based High-Resolution Reflection-Waveform Inversion 全波形反演(FWI)是一种非线性拟合观测地震记录从而获得高清晰速度模型的最优化算法。FWI能够通过拟合浅层初至波和反射波获得较准…

<avatar: frontiers of pandora>技术overview

https://www.eurogamer.net/digitalfoundry-2023-avatar-frontiers-of-pandora-and-snowdrop-the-big-developer-tech-interview https://www.youtube.com/watch?vLRI_qgVSwMY&t394s 主要来自euro gamer上digital foundry对于avatar的开发团队Massive工作室的采访&#xf…

Java多线程、线程池及线程同步(synchronized关键字、悲观锁、乐观锁)

1.进程与线程定义 进程包含线程,如一个百度网盘进程,该进程的线程可以有上传,下载。 2.创建线程的三种方式 方式1-继承Thread类 方式2-实现Runnabled接口 1.常规写法 2.匿名内部类写法 方式3-实现Callable接口 示例代码: f1.get…

实现打印一个数字金字塔。例如:输入5,图形如下图所示

1*12**123***1234**** 12345*****#include<stdio.h> void main() {int i,j,l,n,k;scanf("%d",&n);/**********Program**********//********** End **********/ } 当我们拿到这个题目的时候可以看见题目给了我们五个变量&#xff0c;其中n是我们输入的数…

Linux:jumpserver V3的安装与升级(在线离线)(2)

官方文档写的非常详细&#xff0c;我这篇文章时间长了&#xff0c;会随着官方版本更新而落后 JumpServer - 开源堡垒机 - 官网https://www.jumpserver.org/安装和升级在官网也有详细的信息&#xff0c;我写本章是为了记录一下实验 我的系统是centos7.9 在线安装 在确定我们可…

CnosDB如何确保多步操作的最终一致性?

背景 在时序数据库中&#xff0c;资源的操作是一个复杂且关键的任务。这些操作通常涉及到多个步骤&#xff0c;每个步骤都可能会失败&#xff0c;导致资源处于不一致的状态。例如&#xff0c;一个用户可能想要在CnosDB集群中删除一个租户&#xff0c;这个操作可能需要删除租户…

2023 年最受欢迎的 12 款 Chrome 浏览器扩展

掘金2023年度人气创作者打榜中&#xff0c;快来帮我打榜吧&#xff5e; 谷歌浏览器Chrome是目前最受欢迎的浏览器之一&#xff0c;而浏览器扩展则是为了提升用户体验和功能而开发的插件。 2023年谷歌公布了12款最受欢迎的Chrome浏览器扩展。每个都提供独特的功能来增强您的浏览…

Python学习路线 - Python语言基础入门 - Python基础综合案例 - 数据可视化 - 地图可视化

Python学习路线 - Python语言基础入门 - Python基础综合案例 - 数据可视化 - 地图可视化 基础地图使用基础地图演示基础地图演示 - 视觉映射器 疫情地图-国内疫情地图案例效果数据整理 疫情地图-省级疫情地图省疫情地图 基础地图使用 基础地图演示 代码示例&#xff1a; &quo…

jQuery实现响应式瀑布流 - 实现灯箱效果

在这之前&#xff0c;有写过一篇关于实现瀑布流的文章&#xff0c;后期有人留言提出需要添加灯箱效果的功能&#xff0c;所以这次则讲述下如何实现此功能。由于该篇接上篇写的&#xff1a;jQuery实现响应式瀑布流效果&#xff08;jQueryflex&#xff09;_jquery瀑布流插件-CSDN…

进程间通信---信号

什么是信号&#xff1f; 】 信号处理流程 信号类型 发送信号的函数 参数sig&#xff1a;代表 信号 接收信号的函数 参数 handle 的处理方式有几种&#xff1f; 实例代码 实例逻辑 图中的等待操作使用&#xff1a;pause&#xff08;&#xff09;函数 代码 在这里插入代码片…

解决远程操作报报错函数不支持问题

1、虚拟机远程里面勾了仅允许使用网络.....取消 2、检查虚拟机防火墙是不是没有添加入栈规则 一个ICMPv6一个ICMPv6要开放