python3 unittest+BeautifulReport单个进程输出多个测试报告

最近一个项目中需要由于输出的案例内容非常多（上万条），导致BeautifulReport输出的报告内容非常大（几百兆）。浏览器无法正常处理这么大的测试报告，就算打开了，也不方便阅读和处理，因此需要将报告分成多个输出。

经修改代码，发现单个进程内输出多个测试报告出现问题：第一个测试报告能正常数据对应加入到unittest.testSuite的中的案例，但是后面每一个报告会输出前面所有报告的案例。

如果进行多进程改造的话改造量又比较大，因此还是采用的单进程多线程方案。

经排查发现是BeautifulReport中用于存放测试结果的变量FIELDS是一个全局变量，因此就算新建多个BeautifulReport的实例也没办法正常输出每个实例中unittest.testSuite的报告内容，需修改BeautifulReport中关于FIELDS变量的使用。

结合unittest和BeautifulReport测试api接口的的使用代码如下：

#!/usr/bin/python
import os,sys
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor, as_completed
from multiprocessing import Process, Lock, Queue
import unittest
import time
import  copy
sys.path.append(r'')

from BeautifulReport import BeautifulReport

def output_report(testsuit, filename, interface_name):
    try:
        log.info(f"output_report filename:{filename} interface_name:{interface_name}")
        now = time.strftime("%Y-%m-%d_%H_%M_%S")
        result = BeautifulReport(testsuit)
        result.report(filename=now + "_" + filename + f"_{interface_name}" +'_测试报告.html', description='测试报告', log_path='../report')

        log.info(f"output_report filename:{filename} interface_name:{interface_name} over")
        print(f"******output_report filename:{filename} interface_name:{interface_name} over******")

        return {'result':True}
    except Exception as e:
        print(f"output_report filename:{filename} interface_name:{interface_name} exception! error_info:{e}")
        return {'result':False, 'interface_name':interface_name, 'error_info':e}

def demo_run(cases):
    #省略一些准备代码
    #......
    
    #多线程执行api接口测试任务
    with ThreadPoolExecutor(max_workers=thread_num) as ts:
        for case in cases:
            if len(case['req']) == 1 and len(case['file_rsp']) != 1:
                log.error(f"case_id:{case['TestCaseID']} file_rsp len:{len(case['file_rsp'])} != 1 error!")
                continue
            task.append(ts.submit(test.send_request, api, case))

    #收集任务返回结果
    result_msg_list = [future.result() for future in as_completed(task)]

    #将执行结果加入到testsuit中
    #todo:输出报告如果太大内容太多导致输出时间长，则需要改造为多线程处理
    test_suit_dict = {}
    result_msg_list.sort(key=lambda x:x["TestCaseID"])
    for result_msg in result_msg_list:
        interface_name = result_msg['interface_name']
        log.info(f"TestCaseID:{result_msg['TestCaseID']} interface_name:{interface_name} func_name:{result_msg['func_name']}")

        if interface_name in test_suit_dict:
            testsuit = test_suit_dict[interface_name]
            testsuit.addTest(ParametrizedTestCase.parametrize(Test_Cash_Order_Api, "test_case_ATP", param=(result_msg,key)))
        else:
            testsuit = unittest.TestSuite()
            test_suit_dict[interface_name] = testsuit
            testsuit.addTest(ParametrizedTestCase.parametrize(Test_Cash_Order_Api, "test_case_ATP", param=(result_msg,key)))

    #检查输出报告目录是否存在
    if os.path.exists("../report") != True:
        os.makedirs("../report")

    #BeautifulReport输出testsuit中的比对结果
    #注意这里输出多个测试报告需改造Beautifulreport源码中存放测试结果的FIELDS的使用,否则无法正常输出多个测试报告（每个测试报告会输出前面加入的测试集的结果)
    #因为Beautifulreport源码中用的FIELDS变量是个全局变量，单个进程中加入到FIELDS中的测试结果会不断累计。需要将FIELDS变为类的成员变量。这样新建多个BeautifulReport的实例才能正常输出多个测试报告
    #另外使用多进程输出多个测试报告比较难实现。需要多进程中使用功能的内容都是进程安全的，涉及到的logging等组件的使用都需要做改造。这里直接改造Beautifulreport中的FIELDS较为容易实现
    for interface_name, testsuit in test_suit_dict.items():
        log.info(f"add process filename:{filename} interface_name:{interface_name}")
        output_report(testsuit, filename, interface_name)

 

BeautifulReport中改造FIELDS的代码如下。左侧为改造前代码，右侧为改造后代码。思路是将FIELDS变为类的成员变量，而不是使用全局变量。

基类中初始化FIELDS为类成员变量：

输出的报告内容使用成员变量存储：