Python实现模块热加载

为什么需要热加载

在某些情况,你可能不希望关闭Python进程并重新打开,或者你无法重新启动Python,这时候就需要实现实时修改代码实时生效,而不用重新启动Python

在我的需求下,这个功能非常重要,我将Python注入到了其他进程,并作为一个线程运行。如果我想关闭Python,要么杀死Python相关的线程,要么重新启动进程,这都比较麻烦。所以当我修改完代码后,热加载代码是最方便的方法

Python中的导入机制

我们重复导入一个库时,第二次导入时并没有运行库里面的代码,比如先写一个a.py,在里面写一行代码print("a模块加载"),然后在写一个b.py, 里面写两行import a。即使你在多线程中再导入一遍a模块,也不会打印。例如下面的代码:

import a
import threading
print(id(a))def test():import aprint(id(a))threading.Thread(target=test).start()

可以看到a的id是一样的,也就是同一个对象。

为什么会这样呢?这和Python的模块导入机制有关,Python会在sys.modules这个字典里存储着所有的全局模块,当你导入一个新模块时,他会先查找sys.modules里有没有这个模块,如果没有再导入,如果有就在当前代码增加个引用。举个最简单的例子:

a.py

print("a模块加载")def aa():print("a模块中的aa方法被加载")

b.py

import sys
a = sys.modules["a"]
a.aa()

c.py

import a
import b

先导入a模块,这样sys.modules已经有了a模块,你就可以使用sys.modules["a"]来使用a模块,它和import a基本是一样的。如果你先import b就会发现sys.modules不存在a

重新导入模块1

既然知道它是先查找sys.modules,那我在导入之前,先删除掉里面的a再导入就可以了

import a
import sys
del sys.modules["a"]
import a

这样就能重新加载模块

重新导入模块2

Python基础库也提供了一个方法重新加载模块:

import a
import importlibimportlib.reload(a)

看一下内部代码是怎么实现的:

逻辑也比较简单, 先看sys.modules里有没有这个模块,如果有就使用_bootstrap._exec导入模块。我们是不是也可以通过_bootstrap._exec来重新导入模块,可以但不建议,因为下划线开头的模块或者函数都是不建议外部使用的,这些接口可能在版本更新后变动比较频繁

无法热加载的情况

__main__模块无法热加载。当你执行python a.py,这个a.py文件是无法热加载的,它并没有作为模块导入,在sys.modules的名称就是__main__

如果你在__main__使用from a import A导入的类,即使a模块重新加载,__main__里面的A也不会改变

热加载无法影响已经实例化的对象,比如你修改了模块里面的类代码,但是已经在__main__里实例化了这个类对象,并且一直使用未释放,它的逻辑在热加载之后不会受影响。

函数级热加载

要想实现函数、方法乃至对象级别的热加载,得修改内存中的Python对象。有一个项目实现了这种,有兴趣的可以看:https://github.com/breuleux/jurigged

我的需求没有这么细,就不测试了

监听文件变化

我选择的是watchdog,另一个pyinotify不支持Windows。

watchdog在Windows上有点小bug,修改文件会触发两次事件。搜到一个解决方案:不使用默认的事件触发,而是利用文件快照,每隔一段时间做一次比对。原文链接:Python神器watchdog(监控文件变化),我测试了一下效果很好。

源码

完整的源码就不放了,具体可以看:https://github.com/kanadeblisst00/module_hot_loading

国内仓库:kanadeblisst/module_hot_loading: Python模块热加载 - module_hot_loading - Gitea: Git with kanadeblisst

安装

pip install module-hot-loading

使用
from threading import Event
from module_hot_loading import monitor_dirif __name__ == "__main__":event = Event()event.set()path = "."monitor_dir(path, event, __file__, interval=2, only_import_exist=False)

monitor_dir的参数:

  1. 需要监控的目录路径
  2. 停止监控的事件信号
  3. __main__的代码文件路径
  4. interval: 每隔几秒打一次文件快照做比对
  5. only_import_exist: 只重新加载已经导入的模块

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/293125.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

web前端游戏项目-堆木头游戏【附源码】

web前端游戏项目-堆木头游戏 《堆木头》游戏玩法简单,通过鼠标点击放木头的按钮,叠加在一起,构建出各种结构。游戏适合所有年龄段的孩子,可以锻炼孩子的动手能力和手眼协调能力,激发孩子的创造力和想象力 运行效果 …

如何在服务器上安装宝塔面板

要安装宝塔面板,你可以按照以下步骤进行操作: 登录到你的服务器。可以使用SSH登录或者通过服务器提供商提供的控制面板登录。打开宝塔面板的官方网站,访问 https://www.bt.cn/ ,下载最新版本的宝塔面板安装包。根据你的服务器操作…

LLM微调(四)| 微调Llama 2实现Text-to-SQL,并使用LlamaIndex在数据库上进行推理

Llama 2是开源LLM发展的一个巨大里程碑。最大模型及其经过微调的变体位居Hugging Face Open LLM排行榜(https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)前列。多个基准测试表明,就性能而言,它正在接近GPT-3.5…

聚焦云安全 | 安全狗多项安全能力获权威认可

12月21日,以“云融未来,安全内在”为主题的第七届云安全联盟大中华区大会在深圳成功举办。 作为国内云原生安全领导厂商,安全狗也受邀参与此次活动。 厦门服云信息科技有限公司(品牌名:安全狗)创办于2013…

Spring源码分析 @Autowired 是怎样完成注入的?究竟是byType还是byName亦两者皆有

1. 五种不同场景下 Autowired 的使用 第一种情况 上下文中只有一个同类型的bean 配置类 package org.example.bean;import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration;Configuration public class FruitCo…

OpenAI 官方 Prompt 工程指南:写好 Prompt 的六个策略

其实一直有很多人问我,Prompt 要怎么写效果才好,有没有模板。 我每次都会说,能清晰的表达你的想法,才是最重要的,各种技巧都是其次。但是,我还是希望发给他们一些靠谱的文档。 但是,网上各种所…

手绘风格绘画白板:自由创作艺术空间 | 开源日报 No.118

firebase/firebase-ios-sdk Stars: 4.8k License: Apache-2.0 这个项目是 Firebase 苹果开源开发平台,包含了除 FirebaseAnalytics 之外的所有 Apple 平台 Firebase SDKs 的源代码。它提供了一系列工具来帮助你构建、增长和盈利你的应用程序。主要功能和核心优势如…

NC65 查询单据所处的流程状态以及流程平台客户端工具类

1、查询单据所处的流程状态 nc.bs.wfengine.engine.EngineService的queryFlowStatus()方法 /*** 查询单据所处的流程状态* * param billId* param billType* param result* return* throws DbException*/public int queryFlowStatus(String billId, String billType, int flo…

『番外篇五』SwiftUI 进阶之如何动态获取任意视图的 tag 和 id 值

概览 在某些场景下,我们需要用代码动态去探查 SwiftUI 视图的信息。比如任意视图的 id 或 tag 值: 如上图所示:我们通过动态探查技术在运行时将 SwiftUI 特定视图的 tag 和 id 值显示在了屏幕上。 这是如何做到的呢? 在本篇博文,您将学到如下内容: 概览1. “如意如意,…

Mybatis的关联查询(association和collection)

关联查询 实体间的关系(拥有 has、属于 belong) OneToOne:一对一关系(account ←→ user) OneToMany:一对多关系(user ←→ account) ManyToMany:多对多关系&#xff0…

【递归 回溯】LeetCode-17. 电话号码的字母组合

17. 电话号码的字母组合。 给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。答案可以按 任意顺序 返回。 给出数字到字母的映射如下(与电话按键相同)。注意 1 不对应任何字母。 示例 1: 输入:digit…

Arduino中使用步进电机

目录 一、硬件介绍 1、型号 (1)步进电机 (2)驱动器 2、接线图 3、电机旋转圈速和位置 (1)电机旋转一圈对应脉冲数设置 (2)电机旋转速度设置 二、功能代码和测试 1、代码 …