Python 框架学习 Django篇 (八) 代码优化、数据库冗余处理

我们开发软件系统的时候,需要不断的反思我们代码里面是否有可以优化的地方。而优化的重点之一,就是把冗余的代码优化为可以复用的库。我们在前面编写了一些功能,但是其中存在很多冗余的方法

mgr/medicine.py
mgr/k8s.py
mgr/medicine.py

打开这3个文件我们可以看到他们的入口函数dispatcher  实际的代码相似度非常高,该函数的大体代码基本类似,不同之处,只是分配给哪些函数处理

 

像这样的冗余代码如果持续增多,那么后续的维护成本也会变大,比如我想要将认证的返回值进行修改,那么我就需要去3个文件中挨个进行配置,所以我们要将这种相似的代码单独做成一个公共程序

一、冗余代码优化

1、添加公共函数目录

#在当前应用项目(mgr)下创建一个lib目录,并创建公共代码文件
lib|-handler.py

2、修改K8S.py存量代码

我们发现 请求消息给哪个函数处理, 完全是由 请求消息里面的action参数决定的, 所以,我们可以修改上面这3个代码文件,先删除原先的入口函数dispatcher函数(我前面几个定义的名称都不一致,这块可以改成一样的了)

#应用公共函数
from lib.handler import dispatcherBase#当前函数所支持请求类型
Action2Handler = {'list_customer': listcustomers,'add_customer': addcustomer,'modify_customer': modifycustomer,'del_customer': deletecustomer,
}def dispatcher(request):return dispatcherBase(request, Action2Handler)

我们定义一个什么样的action用什么函数处理的一张表 Action2Handler ,然后dispatcher 函数可以简单到直接调用 dispatcherBase, 并且把Action2Handler 作为参数传递给给它。剩下的就交由 dispatcherBase 去处理了,下面我们把原先的入口函数删除后,将上面的代码添加到3个文件最下面,注意修改Action2Handler变量中的请求参数和对应调用的函数名称

Django_demo/mgr/order.py

from django.http import JsonResponse
from django.db import  transaction
from django.db.models import F
# 导入 Order 对象定义
from  paas.models import  Order,OrderMedicinedef addorder(request):info  = request.params['data']# 从请求消息中 获取要添加订单的信息# 并且插入到数据库中with transaction.atomic():new_order = Order.objects.create(name=info['name'], customer_id=info['customerid'])batch = [OrderMedicine(order_id=new_order.id,medicine_id=mid,amount=1)for mid in info['medicineids']]#  在多对多关系表中 添加了 多条关联记录OrderMedicine.objects.bulk_create(batch)return JsonResponse({'ret': 0,'id':new_order.id})def listorder(request):# 返回一个 QuerySet 对象 ,包含所有的表记录qs = Order.objects \.annotate(customer_name=F('customer__name'),medicines_name=F('medicines__name')) \.values('id','name','create_date','customer_name','medicines_name')# 将 QuerySet 对象 转化为 list 类型retlist = list(qs)# 可能有 ID相同,药品不同的订单记录, 需要合并newlist = []id2order = {}for one in retlist:orderid = one['id']if orderid not in id2order:newlist.append(one)id2order[orderid] = oneelse:id2order[orderid]['medicines_name'] += ' | ' + one['medicines_name']return JsonResponse({'ret': 0, 'retlist': newlist})##################################新的入口函数#################################添加导入公共函数
from .lib.handler import dispatcherBase#传入本地函数和方法
Action2Handler = {'list_order': listorder,'add_order': addorder,
}
#重新定义入口函数
def dispatcher(request):return dispatcherBase(request, Action2Handler)

 3、定义公共函数

Django_demo/mgr/lib/handler.py

import jsonfrom django.http import JsonResponsedef dispatcherBase(request,action2HandlerTable):# 根据session判断用户是否是登录的管理员用户if 'usertype' not in request.session:return JsonResponse({'ret': 302,'msg': '未登录','redirect': '/mgr/sign.html'},status=302)if request.session['usertype'] != 'mgr':return JsonResponse({'ret': 302,'msg': '用户非mgr类型','redirect': '/mgr/sign.html'},status=302)# 将请求参数统一放入request 的 params 属性中,方便后续处理# GET请求 参数 在 request 对象的 GET属性中if request.method == 'GET':request.params = request.GET# POST/PUT/DELETE 请求 参数 从 request 对象的 body 属性中获取elif request.method in ['POST','PUT','DELETE']:# 根据接口,POST/PUT/DELETE 请求的消息体都是 json格式request.params = json.loads(request.body)# 根据不同的action分派给不同的函数进行处理action = request.params['action']print(action)if action in action2HandlerTable:handlerFunc = action2HandlerTable[action]return handlerFunc(request)else:return JsonResponse({'ret': 1, 'msg': 'action参数错误'})

前面的认证转换和参数获取和之前的代码是一致的,区别在于获取到action参数后的操作

 # 根据不同的action分派给不同的函数进行处理action = request.params['action']if action in action2HandlerTable:handlerFunc = action2HandlerTable[action]return handlerFunc(request)

这段代码就是根据action参数的值,到 action2HandlerTable 查找出对应的 函数处理 ,可以根据这个方法去修改其他的两个代码文件

4、测试请求

import  requests,pprint#添加认证
payload = {'username': 'root','password': '12345678'
}
#发送登录请求
response = requests.post('http://127.0.0.1:8000/api/mgr/signin',data=payload)
#拿到请求中的认证信息进行访问
set_cookie = response.headers.get('Set-Cookie')# 构建添加 客户信息的 消息体,是json格式
payload = {"action":"list_order",
}
url='http://127.0.0.1:8000/api/mgr/orders/'if set_cookie:# 将Set-Cookie字段的值添加到请求头中headers = {'Cookie': set_cookie}# 发送请求给web服务response = requests.post(url,json=payload,headers=headers)pprint.pprint(response.json())

返回

{'ret': 0,'retlist': [{'create_date': '2023-10-26T01:15:09.718Z','customer_name': 'zhangsan','id': 13,'medicines_name': 'gmkl','name': '天山订单'},{'create_date': '2023-10-26T01:14:29.897Z','customer_name': 'zhangsan','id': 12,'medicines_name': 'gmkl','name': '天山订单'},{'create_date': '2023-10-26T01:13:35.943Z','customer_name': 'zhangsan','id': 11,'medicines_name': 'gmkl','name': 'ts'},{'create_date': '2023-10-25T03:08:00Z','customer_name': 'zhangsan','id': 5,'medicines_name': 'gmkl','name': 'test'}]}

5、补全其他案例

Django_demo/mgr/k8s.py


from django.http import JsonResponsefrom paas.models import PaasInfodef listcustomers(request):# 返回一个 QuerySet 对象 ,包含所有的表记录qs = PaasInfo.objects.values()# 将 QuerySet 对象 转化为 list 类型# 否则不能 被 转化为 JSON 字符串retlist = list(qs)return JsonResponse({'ret': 0, 'retlist': retlist})
def addcustomer(request):info = request.params['data']# 从请求消息中 获取要添加客户的信息# 并且插入到数据库中# 返回值 就是对应插入记录的对象record = PaasInfo.objects.create(ClusterName=info['ClusterName'] ,NodeSum=info['NodeSum'] ,PrometheusAddress=info['PrometheusAddress'])return JsonResponse({'ret': 0, 'id':record.id})
def modifycustomer(request):# 从请求消息中 获取修改客户的信息# 找到该客户,并且进行修改操作customerid = request.params['id']newdata    = request.params['newdata']print(customerid,newdata)try:# 根据 id 从数据库中找到相应的客户记录customer = PaasInfo.objects.get(id=customerid)except PaasInfo.DoesNotExist:return  {'ret': 1,'msg': f'id 为`{customerid}`的客户不存在'}if 'ClusterName' in  newdata:customer.ClusterName = newdata['ClusterName']if 'NodeSum' in  newdata:customer.NodeSum = newdata['NodeSum']if 'PrometheusAddress' in  newdata:customer.PrometheusAddress = newdata['PrometheusAddress']# 注意,一定要执行save才能将修改信息保存到数据库customer.save()return JsonResponse({'ret': 0})
def deletecustomer(request):customerid = request.params['id']try:# 根据 id 从数据库中找到相应的客户记录customer = PaasInfo.objects.get(id=customerid)except PaasInfo.DoesNotExist:return  {'ret': 1,'msg': f'id 为`{customerid}`的客户不存在'}# delete 方法就将该记录从数据库中删除了customer.delete()return JsonResponse({'ret': 0})#重定义入口函数
from .lib.handler import dispatcherBaseAction2Handler = {'list_customer': listcustomers,'add_customer': addcustomer,'modify_customer': modifycustomer,'del_customer': deletecustomer,
}def dispatcher(request):return dispatcherBase(request, Action2Handler)

Django_demo/mgr/medicine.py

from django.http import JsonResponse# 导入 Medicine 对象定义(这块可能显示模块导入不正常,忽略)
from  paas.models import  Medicineimport jsondef listmedicine(request):# 返回一个 QuerySet 对象 ,包含所有的表记录qs = Medicine.objects.values()# 将 QuerySet 对象 转化为 list 类型# 否则不能 被 转化为 JSON 字符串retlist = list(qs)return JsonResponse({'ret': 0, 'retlist': retlist})def addmedicine(request):info    = request.params['data']# 从请求消息中 获取要添加客户的信息# 并且插入到数据库中medicine = Medicine.objects.create(name=info['name'] ,sn=info['sn'] ,desc=info['desc'])return JsonResponse({'ret': 0, 'id':medicine.id})def modifymedicine(request):# 从请求消息中 获取修改客户的信息# 找到该客户,并且进行修改操作medicineid = request.params['id']newdata    = request.params['newdata']try:# 根据 id 从数据库中找到相应的客户记录medicine = Medicine.objects.get(id=medicineid)except Medicine.DoesNotExist:return  {'ret': 1,'msg': f'id 为`{medicineid}`的药品不存在'}if 'name' in  newdata:medicine.name = newdata['name']if 'sn' in  newdata:medicine.sn = newdata['sn']if 'desc' in  newdata:medicine.desc = newdata['desc']# 注意,一定要执行save才能将修改信息保存到数据库medicine.save()return JsonResponse({'ret': 0})def deletemedicine(request):medicineid = request.params['id']try:# 根据 id 从数据库中找到相应的药品记录medicine = Medicine.objects.get(id=medicineid)except Medicine.DoesNotExist:return  {'ret': 1,'msg': f'id 为`{medicineid}`的客户不存在'}# delete 方法就将该记录从数据库中删除了medicine.delete()return JsonResponse({'ret': 0})from .lib.handler import dispatcherBaseAction2Handler = {'list_medicine': listmedicine,'add_medicine': addmedicine,'modify_medicine': modifymedicine,'del_medicine': deletemedicine,
}def dispatcher(request):return dispatcherBase(request, Action2Handler)

Django_demo/mgr/urls.py

from django.urls import path
from .views import login
from .sign_in_out import signin,signout#重定义路由名称
from .k8s import dispatcher as k8s
from .order import dispatcher as order
from .medicine import dispatcher as medicine
urlpatterns = [path('customers/', k8s),path('medicines/', medicine),path('orders/', order),path('signin', signin),path('signout', signout),path('login',login)]

二、数据库冗余

现在我们的 mgr/order.py 里面用 listorder 函数列出订单。如果一个订单里面有多个药品,就会产生多条记录。为了解决这个问题,我们不得不用python代码来处理冗余,像下面这样

def listorder(request):# 返回一个 QuerySet 对象 ,包含所有的表记录qs = Order.objects\.annotate(customer_name=F('customer__name'),medicines_name=F('medicines__name'))\.values('id','name','create_date','customer_name','medicines_name')# 将 QuerySet 对象 转化为 list 类型retlist = list(qs)# 可能有 ID相同,药品不同的订单记录, 需要合并newlist = []id2order = {}for one in retlist:orderid = one['id']if orderid not in id2order:newlist.append(one)id2order[orderid] = oneelse:id2order[orderid]['medicines_name'] += ' | ' + one['medicines_name']return JsonResponse({'ret': 0, 'retlist': newlist})

 这样做其实有一些问题,首先他会使得我们的代码增加了额外的去除重复记录的功能,并且还会代理性能问题,比如当大量用户登录时需要列出订单信息,需要服务程序从数据库获取到数据后,再去执行去除重复记录的任务

 1、冗余问题思路

我们可以修改数据库表的设计,就在订单表(order) 里面 直接存入订单包含的药品信息

这样就不用去关联表(orderMedicine) 去获取关联药品的信息,从而也不需要去除重复代码

这样,就不需要 从 OrderMedicine 表里面 去获取关联药品信息了,当然也不需要去除重复的代码了。

      但又有了新问题,如果说我们希望订单表里面有药品信息,需要有药品的id、名称、数量,而且有可能存在多种药品,关键是不同的订单和药品的数量也是不同的,对于这种情况,我们通常可以使用一个字段, 里面存储 json格式的字符串,记录可变数量的数据信息。

Django_demo/paas/models.py

class Order(models.Model):# 订单名name = models.CharField(max_length=200,null=True,blank=True)# 创建日期create_date = models.DateTimeField(default=datetime.datetime.now)# 客户customer = models.ForeignKey(Customer,on_delete=models.PROTECT)# 订单购买的药品,和Medicine表是多对多 的关系medicines = models.ManyToManyField(Medicine, through='OrderMedicine')# 为了提高效率,这里存放 订单 medicines 冗余数据medicinelist =  models.CharField(max_length=2000,null=True,blank=True)

 我们在订单表中添加了一个medicinelist的字段,里面用json格式来存储订单中的药品

[{"id": 1, "name": "青霉素", "amount": 20}, {"id": 2, "name": "来适可", "amount": 100}
]id 表示药品的idname 表示 药品的名字amount 表示 药品的数量

 上面的例子就表示该订单中有id 为 1 和 2 的两种药品 数量分别是 20 和 100

这个字段最大长度可达2000个字符,通常足以存储订单中的药品信息了

python manage.py makemigrations common
python manage.py migrate

2、修改接口参数

我们之前在请求接口的时候使用的是如下格式

{"action":"add_order","data":{"name":"华山医院订单002","customerid":3,"medicineids":[1,2]}
}

这里面只有药品的id,没有药品的 名称和数量。我们在开发的时候,经常会遇到当前的接口设计不能满足新的需求,需要修改的情况。这时候就要和 接口的设计者 , 以及接口对接的开发团队进行沟通, 说明为什么你需要修改接口

3、修改请求api格式

添加订单格式
{"action":"add_order","data":{"name":"华山医院订单002","customerid":3,"medicinelist":[{"id":16,"amount":5,"name":"环丙沙星"},{"id":15,"amount":5,"name":"克林霉素"}]}
}
列出订单格式
    {"id": 2, "name": "华山医院订单002", "create_date": "2018-12-27T14:10:37.208Z", "customer_name": "华山医院","medicinelist":[{"id":16,"amount":5,"name":"环丙沙星"},{"id":15,"amount":5,"name":"克林霉素"}]}

既然接口变动了,前端的开发团队 要根据修改后的接口,修改他们的代码,保证按照新的接口实现消息格式, 上面这个是前端发请求api所要携带的参数

4、修改后端代码逻辑

修改添加逻辑

Django_demo/mgr/order.py

def addorder(request):info = request.params['data']with transaction.atomic():medicinelist  = info['medicinelist']new_order = Order.objects.create(name=info['name'],customer_id=info['customerid'],# 写入json格式的药品数据到 medicinelist 字段中medicinelist=json.dumps(medicinelist,ensure_ascii=False),)batch = [OrderMedicine(order_id=new_order.id,medicine_id=medicine['id'],amount=medicine['amount'])for medicine in medicinelist]OrderMedicine.objects.bulk_create(batch)return JsonResponse({'ret': 0, 'id': new_order.id})
修改列出表逻辑

Django_demo/mgr/order.py

def listorder(request):qs = Order.objects \.annotate(customer_name=F('customer__name'))\.values('id', 'name', 'create_date','customer_name','medicinelist')# 将 QuerySet 对象 转化为 list 类型retlist = list(qs)return JsonResponse({'ret': 0, 'retlist': retlist})

5、添加数据

import  requests,pprint#添加认证
payload = {'username': 'root','password': '12345678'
}
#发送登录请求
response = requests.post('http://127.0.0.1:8000/api/mgr/signin',data=payload)
#拿到请求中的认证信息进行访问
set_cookie = response.headers.get('Set-Cookie')# 构建添加 客户信息的 消息体,是json格式
payload = {"action":"add_order","data":{"name":"华山医院订单002","customerid":1,"medicinelist":[{"id":6,"amount":5,"name":"gmkl"},]}
}
url='http://127.0.0.1:8000/api/mgr/orders/'if set_cookie:# 将Set-Cookie字段的值添加到请求头中headers = {'Cookie': set_cookie}# 发送请求给web服务response = requests.post(url,json=payload,headers=headers)print(response)

注意

payload = {"action":"add_order","data":{"name":"华山医院订单002","customerid":1,"medicinelist":[{"id":6,"amount":5,"name":"gmkl"},]}
}

因为我们是要添加订单,所以客户id ("customerid":1,)  和药品id + 名称是必须要先知道的,或者我们在发起请求的时候不带这种id,去到后端的时候去根据数据库查询客户和药品的id再写入

6、调用查询数据

import  requests,pprint#添加认证
payload = {'username': 'root','password': '12345678'
}
#发送登录请求
response = requests.post('http://127.0.0.1:8000/api/mgr/signin',data=payload)
#拿到请求中的认证信息进行访问
set_cookie = response.headers.get('Set-Cookie')# 构建添加 客户信息的 消息体,是json格式
payload = {"action":"list_order","data":{"customer_name":"华山医院订单002",}
}
url='http://127.0.0.1:8000/api/mgr/orders/'if set_cookie:# 将Set-Cookie字段的值添加到请求头中headers = {'Cookie': set_cookie}# 发送请求给web服务response = requests.post(url,json=payload,headers=headers)pprint.pprint(response.json())

返回

             {'create_date': '2023-11-02T09:05:27.095Z','customer_name': 'zhangsan','id': 19,'medicinelist': '[{"id": 6, "amount": 5, "name": "gmkl"}]','name': '华山医院订单002'}]}

7、关于前后方案的

   上面这么做的好处很明显,列出订单的代码就比较简单了,不需要执行去重的任务。

性能也提高了, 只要查询一张表,并且不要执行去重的任务,但是有可能出现其他的问题

   

     冗余数据,我们本来记录在 OrderMedicine 表 中的, 现在我们还需要记录在 Order 表中,这么一说咋还不如之前的方法呢? 这样每次需要写两张表的性能反而是下降了吧

   但是除此之外还需要考虑到,是修改订单的请求多,还是查询订单的请求多,那么一定是查询的要多很多,每次查询都要跑去重,和只有修改的时候才会写两张表之间选择,肯定是后者的方案更好

     

     可能有小伙伴觉得,写两张表还更麻烦了,反正订单里面有药品信息,那么干脆不用OrderMedicine表不就更简单了吗,这样做,最大的问题是, 如果以后我们需要统计药品被采购的信息就非常麻烦了,因为,现在我们在数据库中存储的订单中的药品信息,是以字符串类型存储的 json信息,不能直接使用SQL语句进行过滤查询,只能把所有的记录读取出来进行分析,那样性能会非常低

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/157815.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【网络安全 --- 任意文件上传漏洞靶场闯关 6-15关】任意文件上传漏洞靶场闯关,让你更深入了解文件上传漏洞以及绕过方式方法,思路技巧

一,工具资源下载 百度网盘资源下载链接地址: 百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固,支持教育网加速,支持手机端。注册使用百度网盘即可享受免费存储空间https://pan…

NoSQL数据库使用场景以及架构介绍

文章目录 一. 什么是NoSQL?二. NoSQL分类三. NoSQL与关系数据库有什么区别四. NoSQL主要优势和缺点五. NoSQL体系框架 其它相关推荐: 系统架构之微服务架构 系统架构设计之微内核架构 鸿蒙操作系统架构 架构设计之大数据架构(Lambda架构、Kap…

CCF_A 计算机视觉顶会CVPR2024投稿指南以及论文模板

目录 CVPR2024官网: CVPR2024投稿链接: CVPR2024 重要时间节点: CVPR2024投稿模板: WORD: LATEX : CVPR2024_AuthorGuidelines CVPR2024投稿Topics: CVPR2024官网: https://cvpr.thecvf.com/Conferences/2024CV…

你一般会什么时候使用CHATGPT?

在当今数字时代,人们对于人工智能(AI)的依赖程度日益增加,而ChatGPT作为一种强大的自然语言处理工具,吸引了人们的广泛关注和应用。那么,人一般在什么时候会想要使用ChatGPT呢?这个问题涵盖了多…

GPT与人类共生:解析AI助手的兴起

随着GPT模型的崭新应用,如百度的​1​和CSDN的​2​,以及AI助手的普及,人们开始讨论AI对就业市场和互联网公司的潜在影响。本文将探讨GPT和AI助手的共生关系,以及我们如何使用它们,以及使用的平台和动机。 GPT和AI助手…

【驱动开发】注册字符设备使用gpio设备树节点控制led三盏灯的亮灭

注册字符设备使用gpio设备树节点控制led三盏灯的亮灭 设备树: 头文件: #ifndef __HEAD_H__ #define __HEAD_H__ typedef struct {unsigned int MODER;unsigned int OTYPER;unsigned int OSPEEDR;unsigned int PUPDR;unsigned int IDR;unsigned int OD…

[架构之路-250/创业之路-81]:目标系统 - 纵向分层 - 企业信息化的呈现形态:常见企业信息化软件系统 - 企业内的数据与数据库

目录 一、数据概述 1.1 数据 1.2 企业信息系统的数据 1.3 大数据 1.4 数据与程序的分离思想 1.5 数据与程序的分离做法 1.6 数据库的基本概念 1.7 企业数据来源 1.8 企业数据架构 二、常见的数据库类型 2.1 数据库分类 2.1 数据库类型 2.2 常见的数据库类型、应用…

5.1 创建和销毁线程

方法 pthread_create(thread, attr, start_routine, arg)pthread_exit(status)pthread_cancel(thread)pthread_attr_init(attr)pthread_attr_destroy(attr) 创建线程 最开始main()程序只有一个默认的线程,其他的线程需要由编程人员显式创建。pthread_create()可以…

二叉树问题——前/中/后/层遍历问题(递归与栈)

摘要 博文主要介绍二叉树的前/中/后/层遍历(递归与栈)方法 一、前/中/后/层遍历问题 144. 二叉树的前序遍历 145. 二叉树的后序遍历 94. 二叉树的中序遍历 102. 二叉树的层序遍历 103. 二叉树的锯齿形层序遍历 二、二叉树遍历递归解析 // 前序遍历递归LC144_二叉树的前…

Win10强制卸载更新补丁的三种方法

在Win10电脑中用户发现更新补丁出现问题了,想通过卸载补丁来解决问题。但是,许多新手用户对于强制卸载Win10系统的更新补丁的方法不是很了解,那么下面小编就给大家介绍关于Win10电脑内强制卸载更新补丁的简单方法吧。 方法一:通过…

nodejs express vue 点餐外卖系统源码

开发环境及工具: nodejs,vscode(webstorm),大于mysql5.5 技术说明: nodejs express vue elementui 功能介绍: 用户端: 登录注册 首页显示搜索菜品,轮播图&#xf…

UE5加载websocket模块为空

今天测试UE 发现工程启动不了,后来看到原来是websocket模块无法加载。 解决的它的方法很简单,这种问题一般会出现在源码版本的引擎或者是停电了,导致UElaunch版本损坏,解决方法是来到源码版本的引擎 这个目录下: D:\…