一键抠图3：Android实现人像抠图 (Portrait Matting)

一键抠图3：Android实现人像抠图 (Portrait Matting)

目录

一键抠图3：Android实现人像抠图 (Portrait Matting)

1. 前言

2. 抠图算法

3. 模型Android部署

（1） 将Pytorch模型转换ONNX模型

（2） 将ONNX模型转换为TNN模型

（3） Android端上部署模型

（4） Android测试效果 

（5） 运行APP闪退：dlopen failed: library "libomp.so" not found

4.Android项目源码下载

5.人像抠图C++版本

6.人像抠图Python版本

1. 前言

这是一键抠图项目系列之《Android实现人像抠图 (Portrait Matting)》；本篇主要分享将Python训练后的matting模型部署到Android平台。我们将开发一个简易的、可实时运行的人像抠图Android Demo。Android版本人像抠图模型推理支持CPU和GPU加速，在GPU(OpenCL)加速下，可以达到头发细致级别的人像抠图效果，为了方便后续模型工程化和Android平台部署，项目提供高精度版本人像抠图和轻量化快速版人像抠图，并开发了Python/C++/Android多个版本；

先展示一下Android版本一键抠图效果：

模型选择原图高精度人像抠图视频抠图

 Android Demo APP下载地址：https://download.csdn.net/download/guyuealian/63228759

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/134801795 

更多项目《一键抠图》系列文章请参考：

  1. 一键抠图1：Python实现人像抠图 (Portrait Matting)https://blog.csdn.net/guyuealian/article/details/134784803
  2. 一键抠图2：C/C++实现人像抠图 (Portrait Matting)https://blog.csdn.net/guyuealian/article/details/134790532
  3. 一键抠图3：Android实现人像抠图 (Portrait Matting)https://blog.csdn.net/guyuealian/article/details/134801795

2. 抠图算法

基于深度学习的Matting分为两大类：

  • 一种是基于辅助信息输入。即除了原图和标注图像外，还需要输入其他的信息辅助预测。最常见的辅助信息是Trimap，即将图片划分为前景，背景及过度区域三部分。另外也有以背景或交互点作为辅助信息。

  • 一种是不依赖任何辅助信息，直接对Alpha进行预测。如本博客复现的MODNet

第一种方法，需要加入辅助信息，而辅助信息一般较难获取，这也限制其应用，为了提升Matting的应用性，针对Portrait Matting领域MODNet摒弃了辅助信息，直接实现Alpha预测，实现了实时Matting，极大提升了基于深度学习Matting的应用价值。

更多抠图算法(Matting)，请参考我的一篇博客《图像抠图Image Matting算法调研》：

图像抠图Image Matting算法调研_image matting调研-CSDN博客文章浏览阅读4.3k次，点赞8次，收藏68次。1.Trimap和StrokesTrimap和Strokes都是一种静态图像抠图算法，现有静态图像抠图算法均需对给定图像添加手工标记以增加抠图问题的额外约束。Trimap，三元图，是对给定图像的一种粗略划分，即将给定图像划分为前景、背景和待求未知区域Strokes则采用涂鸦的方式在图像上随意标记前景和背景区域，剩余未标记部分则为待求的未知区域Trimap是最常用的先验知识，多数抠图算法采用了Trimap作为先验知识，顾名思义Trimap是一个三元图，每个像素取值为{0，128，..._image matting调研https://blog.csdn.net/guyuealian/article/details/119648686可能，有小伙伴搞不清楚分割(segmentation)和抠图(matting)有什么区别，我这里简单说明一下：

  •  分割(segmentation)：从深度学习的角度来说，分割本质是像素级别的分类任务，其损失函数最简单的莫过于是交叉熵CrossEntropyLoss(当然也可以是Focal Loss，IOU Loss，Dice Loss等)；对于前景和背景分割任务，输出Mask的每个像素要么是0，要么是1。如果拿去直接做图像融合，就很不自然，Mask边界很生硬，这时就需要使用抠图算法了
  •  抠图(matting)： 而抠图本质是一种回归任务，其损失函数可以是MSE Loss，L1 Loss,L2 Loss等，对于前景和背景抠图任务，输出Mask的每个像素是0~1之间的连续值，可看作是对图像透明通道（Alpha）的回归预测。可以用公式表示为C = αF + (1-α)B ，其中α（不透明度）、F（前景色）和B（背景色），alpha是[0, 1]之间的连续值，可以理解为像素属于前景的概率。在人像分割任务中，alpha只能取0或1，而抠图任务中，alpha可取[0, 1]之间的连续值，
  • 本质上就是一句话：分割是分类任务，而抠图是回归任务。

3. 模型Android部署

目前CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署。部署流程可分为四步：训练模型->将模型转换ONNX模型->将ONNX模型转换为TNN模型->Android端上部署TNN模型。

（1） 将Pytorch模型转换ONNX模型

训练好模型后，你需要先将Pytorch模型转换为ONNX模型，并使用onnx-simplifier简化网络结构，Python版本的已经提供了ONNX转换脚本，终端输入命令如下：

# 导出ONNX模型
python export.py --model_type "modnet" --model_file "work_space/modnet_416/model/best_model.pth"

​GitHub： https://github.com/daquexian/onnx-simplifier
Install:  pip3 install onnx-simplifier 

（2） 将ONNX模型转换为TNN模型

目前CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署

TNN转换工具：

  • （1）将ONNX模型转换为TNN模型，请参考TNN官方说明：TNN/onnx2tnn.md at master · Tencent/TNN · GitHub
  • （2）一键转换，懒人必备：一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine   (可能存在版本问题，这个工具转换的TNN模型可能不兼容，建议还是自己build源码进行转换，2022年9约25日测试可用)

​​

转换成功后，会生成两个文件(*.tnnproto和*.tnnmodel) ,下载下来后面会用到

（3） Android端上部署模型

项目Android部署框架采用TNN，支持多线程CPU和GPU加速推理，在普通手机上可以实时处理。项目Android源码，核心算法均采用C++实现，上层通过JNI接口调用。

如果你想在这个Android Demo部署你自己训练的模型，你可将训练好的Pytorch模型转换ONNX ，再转换成TNN模型，然后把TNN模型代替你模型即可。 

  • 这是项目Android源码JNI接口 ，Java部分

matting接口：实现基本的人像构图Matting功能
fusion接口：实现人像构图Matting，并与背景图进行融合
mattingFusion接口：人像构图Matting，并与背景图进行融合(会返回mask)

package com.cv.tnn.model;import android.graphics.Bitmap;public class Detector {static {System.loadLibrary("tnn_wrapper");}/**** 初始化检测模型* @param proto： TNN *.tnnproto文件文件名（含后缀名）* @param model： TNN *.tnnmodel文件文件名（含后缀名）* @param root：模型文件的根目录，放在assets文件夹下* @param model_type：模型类型* @param num_thread：开启线程数* @param useGPU：是否使用GPU*/public static native void init(String proto, String model, String root, int model_type, int num_thread, boolean useGPU);/**** 缩放图片* @param bitmap* @param resize_width* @param resize_height* @return*/public static Bitmap resizeBitmap(Bitmap bitmap, int resize_width, int resize_height) {int width = bitmap.getWidth();int height = bitmap.getHeight();if (resize_width <= 0 && resize_height <= 0) {return bitmap;} else if (resize_height <= 0) {resize_height = height * resize_width / width;} else if (resize_width <= 0) {resize_width = width * resize_height / height;}Bitmap dst = Bitmap.createScaledBitmap(bitmap, resize_width, resize_height, false);return dst;}/**** 人像构图Matting* @param bitmap 输入图像（bitmap），ARGB_8888格式* @param mask   输出Mask图像（bitmap），ARGB_8888格式,调用前需要createBitmap初始化大小，如*               Bitmap.createBitmap(Width, Height, Bitmap.Config.ARGB_8888);* @return*/public static native void matting(Bitmap bitmap, Bitmap mask);/**** 人像构图Matting，并与背景图进行融合* @param bitmap 输入图像（bitmap），ARGB_8888格式* @param bgmap  输入背景图像（bitmap），ARGB_8888格式，可任意大小的图像* @param fusion 输出与背景融合后图像，调用前需要createBitmap初始化大小，ARGB_8888格式*/public static native void fusion(Bitmap bitmap, Bitmap bgmap, Bitmap fusion);/**** 人像构图Matting，并与背景图进行融合* @param bitmap 输入图像（bitmap），ARGB_8888格式* @param bgmap  输入背景图像（bitmap），ARGB_8888格式，可任意大小的图像* @param fusion 输出与背景融合后图像，调用前需要createBitmap初始化大小，ARGB_8888格式* @param mask   输出Mask图像（bitmap），调用前需要createBitmap初始化大小，ARGB_8888格式* @return*/public static native void mattingFusion(Bitmap bitmap, Bitmap bgmap, Bitmap fusion, Bitmap mask);}
  • 这是Android项目源码JNI接口 ，C++部分
#include <jni.h>
#include <string>
#include <fstream>
#include "src/segment.h"
#include "src/object_detection.h"
#include "src/Types.h"
#include "debug.h"
#include "android_utils.h"
#include "opencv2/opencv.hpp"using namespace dm;
using namespace vision;static Segment *segment = nullptr;
static ObjectDetection *detector = nullptr;JNIEXPORT jint JNI_OnLoad(JavaVM *vm, void *reserved) {return JNI_VERSION_1_6;
}JNIEXPORT void JNI_OnUnload(JavaVM *vm, void *reserved) {}extern "C"
JNIEXPORT void JNICALL
Java_com_cv_tnn_model_Detector_init(JNIEnv *env,jclass clazz,jstring proto,jstring model,jstring root,jint model_type,jint num_thread,jboolean use_gpu) {if (segment != nullptr) {delete segment;segment = nullptr;}std::string parent = env->GetStringUTFChars(root, 0);std::string proto_file = parent + env->GetStringUTFChars(proto, 0);std::string model_file = parent + env->GetStringUTFChars(model, 0);DeviceType device = use_gpu ? GPU : CPU;LOGW("parent     : %s", parent.c_str());LOGW("useGPU     : %d", use_gpu);LOGW("device_type: %d", device);LOGW("model_type : %d", model_type);LOGW("num_thread : %d", num_thread);SegmentParam model_param = SEG_MODEL_TYPE[model_type];//模型参数segment = new Segment(model_file,proto_file,model_param,num_thread,device);}extern "C"
JNIEXPORT void JNICALL
Java_com_cv_tnn_model_Detector_matting(JNIEnv *env, jclass clazz, jobject bitmap,jobject out_mask) {cv::Mat image;//bgrcv::Mat bg;//bgrBitmapToMatrix(env, bitmap, image);cv::Mat mask;cv::Mat fusion;// 检测人像分割segment->detect(image, mask);// 返回MaskMatrixToBitmap(env, mask, out_mask);
}extern "C"
JNIEXPORT void JNICALL
Java_com_cv_tnn_model_Detector_fusion(JNIEnv *env, jclass clazz,jobject bitmap,jobject bgmap,jobject out_fusion) {cv::Mat image;//bgrcv::Mat bg;//bgrBitmapToMatrix(env, bitmap, image);BitmapToMatrix(env, bgmap, bg);cv::Mat mask;cv::Mat fusion;// 检测人像分割segment->detect(image, mask);// 将matte与背景bg进行融合fusionimage_fusion(image, mask, fusion, bg);// 融合fusion图像MatrixToBitmap(env, fusion, out_fusion);
}extern "C"
JNIEXPORT void JNICALL
Java_com_cv_tnn_model_Detector_mattingFusion(JNIEnv *env, jclass clazz,jobject bitmap,jobject bgmap,jobject out_fusion,jobject out_mask) {cv::Mat image;//bgrcv::Mat bg;//bgrBitmapToMatrix(env, bitmap, image);BitmapToMatrix(env, bgmap, bg);cv::Mat mask;cv::Mat fusion;// 检测人像分割segment->detect(image, mask);// 将matte与背景bg进行融合fusionimage_fusion(image, mask, fusion, bg);// 融合fusion图像MatrixToBitmap(env, fusion, out_fusion);MatrixToBitmap(env, mask, out_mask);
}extern "C"
JNIEXPORT jobjectArray JNICALL
Java_com_cv_tnn_model_Detector_detect(JNIEnv *env, jclass clazz, jobject bitmap,jfloat score_thresh, jfloat iou_thresh) {cv::Mat bgr;BitmapToMatrix(env, bitmap, bgr);int src_h = bgr.rows;int src_w = bgr.cols;// 检测区域为整张图片的大小FrameInfo resultInfo;// 开始检测if (detector != nullptr) {detector->detect(bgr, &resultInfo, score_thresh, iou_thresh);} else {ObjectInfo objectInfo;objectInfo.x1 = 0;objectInfo.y1 = 0;objectInfo.x2 = 84;objectInfo.y2 = 84;objectInfo.label = 0;resultInfo.info.push_back(objectInfo);}int nums = resultInfo.info.size();LOGW("object nums: %d\n", nums);auto BoxInfo = env->FindClass("com/cv/tnn/model/FrameInfo");auto init_id = env->GetMethodID(BoxInfo, "<init>", "()V");auto box_id = env->GetMethodID(BoxInfo, "addBox", "(FFFFIF)V");auto ky_id = env->GetMethodID(BoxInfo, "addKeyPoint", "(FFF)V");jobjectArray ret = env->NewObjectArray(resultInfo.info.size(), BoxInfo, nullptr);for (int i = 0; i < nums; ++i) {auto info = resultInfo.info[i];env->PushLocalFrame(1);//jobject obj = env->AllocObject(BoxInfo);jobject obj = env->NewObject(BoxInfo, init_id);// set bbox//LOGW("rect:[%f,%f,%f，%f] label:%d,score:%f \n", info.rect.x,info.rect.y, info.rect.w, info.rect.h, 0, 1.0f);env->CallVoidMethod(obj, box_id, info.x1, info.y1, info.x2 - info.x1, info.y2 - info.y1,info.label, info.score);// set keypointfor (const auto &kps : info.landmarks) {//LOGW("point:[%f,%f] score:%f \n", lm.point.x, lm.point.y, lm.score);env->CallVoidMethod(obj, ky_id, (float) kps.x, (float) kps.y, 1.0f);}obj = env->PopLocalFrame(obj);env->SetObjectArrayElement(ret, i, obj);}return ret;
}

（4） Android测试效果 

实际使用中，建议你：

  • 背景越单一，抠图的效果越好，背景越复杂，抠图效果越差；建议你实际使用中，找一比较单一的背景，如墙面，天空等
  • 上半身抠图的效果越好，下半身或者全身抠图效果较差；本质上这是数据的问题，因为训练数据70%都是只有上半身的
  • 白种人抠图的效果越好，黑人和黄种人抠图效果较差；这也是数据的问题，因为训练数据大部分都是隔壁的老外

下图是高精度版本人像抠图和快速人像构图的测试效果，相对而言，高精度版本人像抠图可以精细到发丝级别的抠图效果；而快速人像构图目前仅能实现基本的抠图效果：

原图 Mask图像 融合图像

高

精

度

人

像

抠

图

​​​​​​

超

快

人

像

抠

图

（5） 运行APP闪退：dlopen failed: library "libomp.so" not found

参考解决方法：
解决dlopen failed: library “libomp.so“ not found_PKing666666的博客-CSDN博客_dlopen failed

 Android SDK和NDK相关版本信息，请参考： 

 

4.Android项目源码下载

 Android Demo APP下载地址：https://download.csdn.net/download/guyuealian/63228759

Android项目源码下载地址：一键抠图Portrait Matting人像抠图 (C++和Android源码)

整套Android项目源码内容包含：

  1.  Android版本人像抠图算法，支持CPU和GPU
  2. 提供高精度版本人像抠图，可以达到精细到发丝级别的抠图效果（Android GPU 150ms,  CPU 500ms左右）
  3. 提供轻量化快速版人像抠图，满足基本的人像抠图效果，可以在Android达到实时的抠图效果（Android GPU 60ms,  CPU 140ms左右）
  4. Android Demo支持图片，视频，摄像头测试
  5. 所有依赖库都已经配置好，可直接build运行，若运行出现闪退，请参考dlopen failed: library “libomp.so“ not found 解决。

5.人像抠图C++版本

一键抠图2：C/C++实现人像抠图 (Portrait Matting)https://blog.csdn.net/guyuealian/article/details/134790532

6.人像抠图Python版本

一键抠图1：Python实现人像抠图 (Portrait Matting)https://blog.csdn.net/guyuealian/article/details/134784803

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/258202.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

前端学习微信小程序开发

前端学习微信小程序开发

1.微信小程序项目结构 2.WXML和HTML的区别 3.WXSS与CSS的区别 4.小程序中的.js文件 5.小程序的宿主环境 宿主环境是指程序运行所必须的依赖环境&#xff0c;因此手机微信时小程序的宿主环境。小程序宿主环境包含了通信模型、运行机制、组件、API。 &#xff08;1&#xff09;…
阅读更多...
CSS import 规则

CSS import 规则

导入 “navigation.css” 样式到当前的样式表&#xff1a; import “navigation.css”; /* 使用字符串 / 或者 import url(“navigation.css”); / 使用 url 地址 */ 属性定义及使用说明 CSS import 用于从其他样式表导入样式规则。 import 规则必须在 CSS 文档的头部&#xff…
阅读更多...
Ignis - Interactive Fire System

Ignis - Interactive Fire System

Ignis - 点火、蔓延、熄灭、定制! 全方位火焰系统。 这个插件在21年的项目中使用过很好用值使用概述 想玩火吗？如果想的话，那么Ignis就是你的最佳工具。有了Ignis，你可以把任何物体、植被或带皮带骨的网状物转换为可燃物体，它就会自动着火。然后，火焰可以蔓延，点燃其他物…
阅读更多...
初识人工智能，一文读懂过拟合欠拟合和模型压缩的知识文集(3)

初识人工智能，一文读懂过拟合欠拟合和模型压缩的知识文集(3)

&#x1f3c6;作者简介&#xff0c;普修罗双战士&#xff0c;一直追求不断学习和成长&#xff0c;在技术的道路上持续探索和实践。 &#x1f3c6;多年互联网行业从业经验&#xff0c;历任核心研发工程师&#xff0c;项目技术负责人。 &#x1f389;欢迎 &#x1f44d;点赞✍评论…
阅读更多...
深入了解Git LFS：高效管理大型文件的利器

深入了解Git LFS：高效管理大型文件的利器

今天在使用CodeUp上传代码时&#xff0c;我为项目添加了一个大小超过300MB的文件。在进行push操作时&#xff0c;系统提示我“推送失败&#xff0c;以下文件大小超过单文件200MB的系统限额&#xff0c;大文件请使用Git-LFS管理”。于是我开始了解Git LFS。对于需要处理大型二进…
阅读更多...
oracle 拼接语句怎么写？

oracle 拼接语句怎么写？

||的妙用&#xff0c;字符串和变量列名之间都得用||分隔&#xff0c;oracle等数据库两个单引号输出一个单引号&#xff0c;因为如果只写了一个的话 他会和最近的单引号被数据库认为是组成了一个空字符串&#xff0c;因此需要用两个单引号来表示这是个单引号 查询列间用&#xf…
阅读更多...
力扣541.反转字符串 II

力扣541.反转字符串 II

文章目录 力扣541.反转字符串 II示例代码实现总结收获 力扣541.反转字符串 II 示例 代码实现 class Solution {public String reverseStr(String s, int k) {char[] ans s.toCharArray();for(int i0;i<ans.length;i2*k){int begin i;int end Math.min(ans.length-1,begin…
阅读更多...
QML中Dialog获取close与open状态

QML中Dialog获取close与open状态

1.新建MyDialog.qml import QtQuick 2.15import QtQuick.Dialogs 1.2Dialog {id: rootvisible: falsetitle: qsTr("弹出对话框")width: 250height: 200} 2.main.qml中调用MyDialog import QtQuick 2.15 import QtQuick.Window 2.15 import QtQuick.Controls 2.15…
阅读更多...
整理PC文件续篇 运用百度网盘、TreeSizeFree、HTML轻松管理＞100G资料

整理PC文件续篇 运用百度网盘、TreeSizeFree、HTML轻松管理＞100G资料

因为参加了一个视频剪辑班&#xff0c;在几周的时间里光素材和插件就有90G以上&#xff0c;如果加上软件马上就过百G了&#xff0c;如何给这些文件一定的结构&#xff0c;以便以后方便管理和查找&#xff0c;避免淹没在资料堆里是非常迫切的需求。 这些资料都是通过百度网盘分发…
阅读更多...
用23种设计模式打造一个cocos creator的游戏框架----(三)外观模式模式

用23种设计模式打造一个cocos creator的游戏框架----(三)外观模式模式

1、模式标准 模式名称&#xff1a;外观模式 模式分类&#xff1a;结构型 模式意图&#xff1a;为一组复杂的子系统提供了一个统一的简单接口。这个统一接口位于所有子系统之上&#xff0c;使用户可以更方便地使用整个系统。 结构图&#xff1a; 适用于&#xff1a; 当你想为…
阅读更多...
虹科干货 | 关于JSON数据库

虹科干货 | 关于JSON数据库

来源&#xff1a;艾特保IT 虹科干货 | 关于JSON数据库 原文链接&#xff1a;https://mp.weixin.qq.com/s/NutCGWa32rOcEHrk3UDGcQ 欢迎关注虹科&#xff0c;为您提供最新资讯&#xff01; 如何理解JSON数据库&#xff1f;作为NoSQL数据库的一种类型&#xff0c;JSON数据库有哪…
阅读更多...
我的acer电脑U盘装系统前BIOS设置及装系统过程中的操作

我的acer电脑U盘装系统前BIOS设置及装系统过程中的操作

1、开机长按F2进入BIOS设置 2、使能F12 3、调整boot顺序&#xff0c;使USB启动的优先级最高 4、按F10保存退出 5、插入U盘开机&#xff0c;boot选择界面无需操作&#xff0c;等待几秒&#xff0c;默认进入U盘系统 由于既使能了F12&#xff0c;又将U盘的优先级进调整到了最高&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023