【高效视频处理】BMF 项目安装与老视频修复体验全流程及总结-编程知识

一、BMF简介

BMF（Babit Multimedia Framework）是字节跳动开发的跨平台、多语言、可定制的多媒体处理框架。经过 4 年多的测试和改进，BMF 已经过量身定制，能够熟练地应对我们现实生产环境中的挑战。目前广泛应用于字节跳动的视频串流、直播转码、云剪辑和移动前/后处理场景。该框架每天处理超过 20 亿个视频。
在这里插入图片描述
官方仓库地址为：https://github.com/BabitMF/bmf?tab=readme-ov-file

二、BMF初体验

2.1、安装方式

1️⃣、pip安装
首先要确保本机已经安装了Python，然后使用pip install BabitMF安装BabitMF，安装过程中其会帮你同时安装依赖包，显示successfully安装即为成功：
在这里插入图片描述
2️⃣、源码编译安装
首先我们使用git clone命令克隆BMF源码git clone https://github.com/BabitMF/bmf bmf，克隆完成后，项目的文件结构如下：

使用重终端命令cd进入bmf项目目录，然后输入./build.sh开始构建，构建可能会持续5到15分钟：
在这里插入图片描述

2.2、初步体验

1️⃣、创建Graph

import bmf
graph = bmf.graph()
video = graph.decode({"input_path": input_video_path //输入视频的本地目录地址
})
bmf.encode(video['video'],video['audio'],{"output_path": output_path,//输出视频的本地目录地址"video_params": {"codec": "h264","width": 320,"height": 240,"crf": 23,"preset": "very fast"},"audio_params": {"codec": "aac","bit_rate": 128000,"sample_rate": 44100,"channels": 2}}
).run()

Graph是bmf中最基础的一个概念，使用graph.decode和encode可以对视频进行解码和编码，这里首先使用import bmf导入模块，然后使用graph = bmf.graph() 创建了一个graph对象，然后video = graph.decode({“input_path”: input_video_path}) 使用创建的图形对象对输入视频进行解码。解码后，video对象包含了解码后的视频数据和相关信息。bmf.encode(…).run() 是对解码后的视频进行编码，其中
视频参数包括：

“codec”: “h264” - 视频编码器为H.264。
“width”: 320 - 视频宽度为320像素。
“height”: 240 - 视频高度为240像素。
“crf”: 23 - 视频质量控制参数，值越低质量越高。

音频参数包括：

“codec”: “aac” - 音频编码器为AAC。
“bit_rate”: 128000 - 音频比特率为128,000 bps。
“sample_rate”: 44100 - 音频采样率为44.1 kHz。
“channels”: 2 - 音频通道数为2（立体声）。“preset”: “very fast” - 编码速度预设为"very fast"。

2️⃣、创建Pipeline
同时，BMF提供构建一个视频处理的Pipeline，通过串联不同的同步模块来实现视频处理的流程：

构建同步模块：首先调用bmf_sync.sync_module接口创建四个bmf模块（c_ffmpeg_decoder、c_ffmpeg_filter（Scale）、c_ffmpeg_filter（volume）、c_ffmpeg_encoder）。然后，它不断循环地从输入视频中读取视频流，逐帧解码，并首先将其发送到缩放过滤模块，将视频缩放到320x250的分辨率。然后，获取处理后的视频帧，发送至音量过滤模块进行一次音量调节。最后，视频被发送到编码器模块进行视频编码并保存为文件。
构建管道：调用了 bmf_sync.process 接口，直接执行同步模块的处理过程，将输入数据包提供给模块进行处理，并返回处理后的结果和任务完成的时间戳。
管道循环：不断调用 bmf_sync.process 来处理视频和音频帧。使用 decoder 模块处理输入数据。得到 frames 字典，其中包含了不同通道的视频或音频帧。如果有下一帧需要处理，分别根据通道编号（0 或 1）判断是否有帧数据，然后使用 scale 或 volume 模块进行相应的处理，最后将处理后的帧数据传递给 encoder 模块继续处理。

其核心代码如下：

import bmf
from bmf import bmf_sync, Packet
input_video_path = "./big_bunny_10s_30fps.mp4"
output_path = "./video.mp4"def bmf.builder.bmf_sync.sync_module (name, option, input_streams, output_streams 
)
def bmf.builder.bmf_sync.process (module, pkts_dict 
)   # create sync modules
decoder = bmf_sync.sync_module("c_ffmpeg_decoder", {"input_path": input_video_path}, [], [0, 1])
scale = bmf_sync.sync_module("c_ffmpeg_filter", {"name": "scale","para": "320, 250"
}, [0], [0])
volume = bmf_sync.sync_module("c_ffmpeg_filter", {"name": "volume","para": "volume=3"
}, [0], [0])
encoder = bmf_sync.sync_module("c_ffmpeg_encoder", {"output_path": output_path
}, [0, 1], [])while True:frames, _ = bmf_sync.process(decoder, None)has_next = Falsefor key in frames:if len(frames[key]) > 0:has_next = Truebreakif not has_next:bmf_sync.send_eof(encoder)breakif 0 in frames.keys() and len(frames[0]) > 0:frames, _ = bmf_sync.process(scale, {0: frames[0]})bmf_sync.process(encoder, {0: frames[0]})if 1 in frames.keys() and len(frames[1]) > 0:frames, _ = bmf_sync.process(volume, {0: frames[1]})bmf_sync.process(encoder, {1: frames[0]})

2.3、老视频修复体验

熟悉了基础的BMF操作后，我们可以体验一下BMF修复老视频的demo，官方为我们提供了一个写好的colab的notebook：https://colab.research.google.com/github/BabitMF/bmf/blob/master/bmf/demo/colorization_python/deoldify_demo_colab.ipynb

点击进入链接，连接到Colab的资源，申请T4资源，申请成功后如下所示：
在这里插入图片描述

然后点击代码执行程序-全部运行：
在这里插入图片描述
运行流程首先会克隆老视频修复的git仓库，然后安装对应的依赖和工具：

其通过构建一个 BMF 模块，使用 DeOldify 算法对黑白视频进行颜色化处理。核心代码如下：

class py_deoldify_module(bmf.Module):def __init__(self, node, option=None):print(f'py_deoldify_module init ...')self.node_ = nodeself.option_ = optionprint(option)warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")#NOTE:  This must be the first call in order to work properly!#choices:  CPU, GPU0...GPU7device.set(device=DeviceId.GPU0)if not torch.cuda.is_available():print('warning: GPU is not available, the computation is going to be very slow...')weight_path=Path('/content/DeOldify')if option and 'model_path' in option.keys():model_path = option['model_path']if not model_path:print(f'model_path={model_path}')weight_path=Path(model_path)self.colorizer = get_stable_video_colorizer(weight_path)self.idx = 0print(f'py_deoldify_module init successfully...')def process(self, task):# iterate through all input queues to the moduleidx = self.idxfor (input_id, input_queue) in task.get_inputs().items():# get output queueoutput_queue = task.get_outputs()[input_id]while not input_queue.empty():# get the earliest packet from queuepacket = input_queue.get()# handle EOFif packet.timestamp == Timestamp.EOF:output_queue.put(Packet.generate_eof_packet())task.timestamp = Timestamp.DONE# process packet if not emptyif packet.timestamp != Timestamp.UNSET and packet.is_(VideoFrame):vf = packet.get(VideoFrame)rgb = mp.PixelInfo(mp.kPF_RGB24)np_vf = vf.reformat(rgb).frame().plane(0).numpy()# numpy to PILimage = Image.fromarray(np_vf.astype('uint8'), 'RGB')colored_image = self.colorizer.colorize_single_frame_from_image(image)if not colored_image:print(f'Fail to process the input image with idx = {idx}')continueif debug:input_name = f'video/bmf_raw/frame_{idx}.png'print(f'input_name = {input_name}')image.save(input_name)output_name = f'video/bmf_out/frame_{idx}.png'print(f'output_name = {output_name}')colored_image.save(output_name)self.idx = idx + 1out_frame_np = np.array(colored_image)rgb = mp.PixelInfo(mp.kPF_RGB24)frame = mp.Frame(mp.from_numpy(out_frame_np), rgb)out_frame = VideoFrame(frame)out_frame.pts = vf.ptsout_frame.time_base = vf.time_basepkt = Packet(out_frame)pkt.timestamp = out_frame.ptsoutput_queue.put(pkt)return ProcessResult.OK

模型构建好之后，在2-2这里，可以修改相关的参数，其中：input_video_path是输入视频路径，output_video_path是输出彩色视频路径。model_weight_path是在步骤1-3中下载模型权重的路径（仅体验的话不用管这个参数）。
在这里插入图片描述
等待片刻后，就能输出对应的老视频修复结果了：

三、BMF体验总结

3.1、优点

通过以上实践体验，总的来讲，BMF通过提供简洁易用的跨语言接口、灵活的调度和扩展性，以 graph/pipeline 的方式构建高性能的多媒体处理链路，以模块化的方式动态扩展、管理和复用视频处理，非常适合运用在视频转码、视频抽帧、视频增强、视频分析、视频插帧、视频编辑、视频会议、VR 等领域，其具有：

1、跨平台兼容性：BMF广泛支持多个操作系统，包括Linux、Windows和Mac OS，并且经过优化以适应x86和ARM CPU架构，确保在不同平台上的高效运行。

2、多语言支持：BMF提供Python、Go和C++ API，为开发人员提供了使用首选编程语言进行开发的灵活性，使项目更易于使用。

3、高效数据处理：BMF提供了无缝的数据格式转换，涵盖了流行框架（FFmpeg/Numpy/PyTorch/OpenCV/TensorRT）。这包括硬件设备（CPU/GPU）之间的转换，以及色彩空间和像素格式的高效转换，为项目提供高度灵活性和效率。