一、什么是错帧同步?
- 现在移动设备的系统相机的最高帧率在 120 FPS 左右,当帧率低于 20 FPS 时,用户可以明显感觉到相机画面卡顿和延迟。我们在做相机预览和视频流处理时,对每帧图像处理时间过长(超过 30 ms)就很容易造成画面卡顿,这个场景就需要用到错帧同步方法去提升画面的流畅度。
- 错帧同步,简单来说就是把当前的几帧缓冲到子线程中处理,主线程直接返回子线程之前的处理结果,属于典型的以空间换时间策略。错帧同步策略也有不足之处,它不能在子线程中缓冲太多的帧,否则造成画面延迟。
- 另外,每个子线程分配的任务也要均衡(即每帧在子线程中的处理时间大致相同),不然会因为 CPU 线程调度的时间消耗适得其反。
- 错帧同步的原理如下所示,开启三个线程:一个主线程,两个工作线程,每一帧图像的处理任务分为 2 步,第一个工作线程完成第一步处理,第二个工作线程完成第二步处理,每一帧都要经过这两步的处理:
- 当主线程输入第 n + 1 帧到第一个工作线程后,主线程会等待第二个工作线程中第 n 帧的处理结果然后返回,这种情况下你肯定会问第 0 帧怎么办?第 0 帧就直接返回就行了。
- 这些步骤下来,可以看成第 n+1 帧和第 n 帧在 2 个工作线程中同时处理,若忽略 CPU 线程调度时间,2 线程错帧可以提升一倍的性能。