automatic matting 抠图算法汇总-编程知识

automatic matting 抠图算法汇总

电商图抠图算法，主要还是关注商品图抠图，内部也有自研的抠图算法，下面主要关注开源抠图算法。一般来说关注trimap-free的方法，即一步抠图，业务上也是trimap-free更加友好，当然业务流上可以先计算trimap，然后再走trimap-based抠图。

GitHub - wchstrife/Awesome-Image-Matting: :notebook: A curated list of deep learning image matting papers and codes

一、算法模块

1.modnet

2.ppmatting

3.rembg

3.1 u2net

3.2 isnet

4.BSHM

BSHMhttps://www.modelscope.cn/docs/BSHM

提出的模型框架分为三部分：粗mask估计网络（MPN）、质量统一化网络（QUN），以及精确alpha matte估计网络（MRN）。该部分的设计理念为：复杂问题拆解，先粗分割（MPN）再精细化分割（MRN）。学术界有大量易获取的粗分割数据，可以利用起来。但在实操过程中发现，粗分割数据和精分割数据不一致导致预期GAP很大，故而又设计了质量统一化网络（QUN）。MPN的用途是估计粗语义信息（粗mask），使用粗标注数据和精标注数据一起训练。QUN是质量统一化网络，用以规范粗mask质量，QUN可以统一MPN输出的粗mask质量。MRN网络输入原图和经过QUN规范化后的粗mask，估计精确的alpha matte，使用精确标注数据训练。

5.Tracer-B7

https://github.com/OPHoperHPO/image-background-remove-tool

Auxiliary input-based image matting，先生成trimap图，然后FBA抠图。都是和我们抠图类似的思路，先显著性检测Tracerb7模型，在Trimap-based fbamatting精细化抠图。

6.InSPyReNet

GitHub - plemeri/transparent-background: This is a background removing tool powered by InSPyReNet (ACCV 2022)

https://github.com/taskswithcode/InSPyReNet?tab=readme-ov-file

二、视频抠图

1.RobustVideoMatting

编码器处理单帧图片，先降采样，中间虚线是之前的特征，递归解码器逐步解码，深导滤波器，就是一个可学习的引导滤波器。

【笔记】Robust High-Resolution Video Matting with Temporal Guidance-CSDN博客文章浏览阅读5.3k次，点赞3次，收藏20次。Robust High-Resolution Video Matting with Temporal Guidance算法讲解笔记_robust high-resolution video matting with temporal guidancehttps://blog.csdn.net/qq_45929156/article/details/123297720?ops_request_misc=&request_id=&biz_id=102&utm_term=robustvideomatting&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~sobaiduweb~default-6-123297720.nonecase&spm=1018.2226.3001.4450