计算机视觉基础(11)——语义分割和实例分割

前言

在这节课,我们将学习语义分割和实例分割。在语义分割中,我们需要重点掌握语义分割的概念、常用数据集、评价指标(IoU)以及经典的语义分割方法(Deeplab系列);在实例分割中,需要知道实力分割可以近似看为“目标检测+语义分割”,需要知道Mask R-CNN方法的计算流程,以及评价指标mAP

一、语义分割

1.1  分割类任务的定义

分割类任务是一种密集标注任务,即将图像中每个像素赋予一个语义或者实例标签

1.2  语义分割的应用场景

  • 无人驾驶
  • 机器人
  • 医学图像
  • ……

1.3  常用数据集

1.3.1  Pascal VOC Dataset

VOC数据集是计算机视觉主流数据集之一,由牛津大学、比利时鲁汶大学等高校的视觉研究组联合发布,可以用作分类,分割,目标检测,动作检测和人物定位五类任务,包含21个类别标签,训练1464,验证1449,测试1456。

1.3.2  MS COCO Dataset

MS COCO(Microsoft Common Objects in Context Dataset)是微软发布的一个大规模物体检测,分割及文字定位数据集,支持目标检测、实例分割、全景分割、Stuff Segmentation、关键点检测、看图说话等任务类型,包含80个对象类别。

1.3.3  ADE20K Dataset

ADE20K数据集由 MIT CSAIL 研究组发布,涵盖广泛的场景和对象类别,可用于场景感知、解析、分割、多物体识别和语义理解。该数据集构建了一个场景解析基准,包含150个对象和素材类。

1.3.4  CityScapes Dataset

CityScapes是由奔驰自动驾驶实验室、马克思·普朗克研究所、达姆施塔特工业大学联合发布的图像数据集,专注于对城市街景的语义理解。 该数据集包含50个城市不同场景、不同背景、不同街景,以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注,共有5000张精细标注的图像和2万张粗略标注的图像。

1.4  评价指标(重点)

平均交并比 (mean Intersection over Union, mIoU) ——每个类别的所有像素去计算交并比

1.5  语义分割方法

1.5.1  基于滑动窗的提取图像块后分类

基于滑动窗提取图像块然后对图像块的中心进行分类

1.5.2  用CNN计算整幅图的特征

用CNN计算整幅图的特征,然后在其上进行标签预测

1.5.3  全卷积网络

【方案一】

设计只含有卷积层而没有降采样操作的神经网络,这样可以同时对所有像素进行标签预测

【方案二】

设计包含卷积层、下采样操作和上采样操作的神经网络。

下采样操作:可以通过池化和加大卷积步长来实现

上采样操作:可以通过插值、逆池化和转置卷积来实现

【插值】

【逆池化】

【转置卷积】

【上采样结构总结】

【U-Net】

1.5.4  DeepLab系列

【Deeplab V1】

【Deeplab V2】

【Deeplab V3】

【Deeplab V3+】

1.5.5  PSPNet

1.5.6  HRNet

二、实例分割

2.1  实例分割的概念

实例分割 可以近似看为 目标检测 + 语义分割

2.2  Mask R-CNN

2.3  评价指标(重点)

2.4  实例分割效果

总结

在本文中,我们学习了语义分割和实例分割,需要清楚二者的区别,并掌握二者的算法流程,需要重点关注语义分割和实例分割的方法举例和评价指标

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/297450.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

工资发放 C语言xdoj92

题目描述: 公司财务要发工资现金,需要提前换取100元、50元、20元、10元、5元和1元的人民币, 请输入工资数,计算张数最少情况下,各自需要多少张。 输入格式:共一行,输入一个正整数。 输出格式&am…

Linux:jumpserver介绍(1)

官方网站 JumpServer - 开源堡垒机 - 官网https://www.jumpserver.org/ JumpServer 是广受欢迎的开源堡垒机,是符合 4A 规范的专业运维安全审计系统。JumpServer 帮助企业以更安全的方式管控和登录所有类型的资产,实现事前授权、事中监察、事后审计&…

百分百能遇到的接口自动化测试面试题,看完的现在已经在办理入职了...

1. 什么是接口自动化测试? 答:接口自动化测试是指使用自动化工具对接口进行测试,验证接口的正确性、稳定性和性能等方面的指标。 2. 为什么要进行接口自动化测试? 答:接口自动化测试可以提高测试效率,减…

为什么有的开关电源需要加自举电容?

一、什么是自举电路? 1.1 自举的概念 首先,自举电路也叫升压电路,是利用自举升压二极管,自举升压电容等电子元件,使电容放电电压和电源电压叠加,从而使电压升高。有的电路升高的电压能达到数倍电源电压。…

Portainer.io:让容器管理变得更加直观

在现代软件开发和部署中,容器化技术已经变得越来越流行。Docker 是其中一种领先的容器化平台,而 Portainer.io 则是一个优秀的管理工具,使得 Docker 的使用变得更加简单和可视化。本文将介绍 Portainer.io 的基本功能和如何在 Docker 上安装和…

消失循环的2023?你都做了什么? | 2023 年度总结

2023年度总结 -- 今年都做了什么事? 前言心态关键词感悟 记录申请软著独立游戏技术成长 共勉 前言 又到了一年一次年度总结的时候了。我们常常感叹时间飞逝,却又没办法让它放慢的脚步。那就将2023写下来,让它在时间的长河中留下一丝记忆。 心…

堆与二叉树(下)

接着上次的,这里主要介绍的是堆排序,二叉树的遍历,以及之前讲题时答应过的简单二叉树问题求解 堆排序 给一组数据,升序(降序)排列 思路 思考:如果排列升序,我们应该建什么堆&#x…

Skywalking 中 Agent 自动同步配置源码解析

文章目录 前言正文实现架构实现模型OAP 同步 ApolloConfigWatcherRegisterConfigChangeWatcher Agent 侧 前言 本文代码 OAP 基于 v9.7,Java Agent 基于 v9.1,配置中心使用 apollo。 看本文需要配合代码“食用”。 正文 Skywalking 中就使用这种模型…

生物神经网络衍生出的算法

一个生物神经网络的基本结构: 生物神经网络由大量神经元组成,这些神经元之间通过突触相互连接。神经元可以接收来自其他神经元的信号,并根据信号的强度和类型来调整自己的输出信号。这种神经元之间的相互连接和信号传递形成了生物神经网络的基…

8、SpringCloud高频面试题-版本1

1、SpringCloud组件有哪些 SpringCloud 是一系列框架的有序集合。它利用 SpringBoot 的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,都可以用 SpringBoot 的开发风格做到一键启…

<各国地图轮廓app>技术支持

如在app使用过程中遇到任何问题,请与开发者联系caohechunhotmail.com